阪口 豊:高山稜平† ↑電気通信大学情報理工学域‡電気通信大学大学院情報理工学研究科，技能情報学研究ステーション〒182-8585 東京都調布市調布ヶ丘1-5-1 † t1810392@gl.cc.uec.ac.jp,     † yutaka.sakaguchi@uec.ac.jp E-mail:あらまし　ピアノ演奏音の重音や和音の音色は，これらの音を構成する要素音の音高に加え，それらの強度比や要素音の立ち上がり時刻のずれ（SOA）によって決定される．本研究では，音高の組み合わせと強度比が同一である重音・和音を対象として，要素音のSOAが音色知覚に与える影響を実験的に調べた．実験ではまず立ち上がり時刻のずれた重音・和音が（ずれた二音ではなく）一つの重音・和音として知覚されるSOAの範囲を実験的に定めたのち，異なるSOAを有する重音・和音の音色を弁別する課題，および提示された音刺激が自分の好みの音色であるかどうかを識別する課題を課した．その結果，音色の弁別成績はSOAの違いよりもSOAの絶対値の違いによって定まること，SOAの小さな重音・和音を好む被験者が多いこと，識別課題の成績もSOAの絶対値に影響を受けることを示唆する結果が得られた.キーワード　ピアノ音，重音，和音，音色知覚，立ち上がり時刻のずれEffects of Stimulus Onset Asynchrony on Timbre Perception of Piano Chord Sound Ryohei TAKAYAMA † Yutaka SAKAGUCHI ¥ ↑ Faculty of Informatics and Engineering, University of Electro-Communications † Graduate School of Informatics and Engineering, University of Electro-Communications 1-5-1, Chofugaoka, Chofu, Tokyo 182-8585, Japan † t1810392@gl.cc.uec.ac.jp ,     † yutaka.sakaguchi@uec.ac.jp E-mail: Abstract    Timbre of a piano harmonic chord is determined not only by the heights of the individual tones consisting of the chord but also by difference between their intensities and temporal onsets (i.e., stimulus onset asynchrony: SOA). Here, we ask the effect of SOA on the timbre of chord sounds when their heights and intensities are maintained. We first estimated the maximal SOA for perceiving the stimulus as a single chord (rather than two distinct tones). Next, we asked the participants to discriminate two chords having different SOAs. Thirdly, we asked them to identify the chord with their own favorite timbre among chords having various SOAs. The results suggested that the discrimination performance, as well as identification performance, depended on the difference in abstract SOA rather than that in SOA per se. We also found that most participants preferred the chords with smaller SOAs. Keyword  Piano Sound, Multiphonics, Chord, Timbre Perception, Stimulus Onset Asynchrony,
1.本研究の目的
近年,「聴覚の情景分析」[1]に代表されるように，聴覚刺激に基づく外界の知覚や認識に関する研究が活活発に行われている.本研究では,その中でもピアノ音の音色の問題を取り扱う.ピアノ音の音色は，単一音であれば打鍵の強さによってのみ規定されるが，重音や和音のような組み合わせ音では,（音高の組み合わせが同一であれば）構成する個々の音の打鍵の強さの関係に加え打鍵タイミングの関係にも影響を受ける.つまり,ビアノ音の音色は「打鍵の強さ」と「打鍵のタイミングのずれ」の2つのバラメータによって決定されるといえる[2].本研究では「打鍵の強さ」を一定に保ち「打鍵タイミングのずれ」のみを操作したときの音色変化について検討する。これにより，音の立ち上がりのずれが音色知覚に与える影響の解明に加え，ピアノ演奏技能における音色調整メカニズムの一端の理解をめざす.重音や和音としての音色を検討するためには,重音・和音を構成する個々の音が別々に閉こえるのではなく「同時に鳴らされたひとまとまりの音」として開こえる音刺激を対象として聴取実験を行う必要がある.音楽の合奏において，演奏タイミングが多少ずれていても演奏音としては揃っているように聴こえることからわかるように，物理的な同時性と知覚的な同時性は必ずしも一致しない．知覚的同時性の特性はこれまでクリック音を用いて実験的に調べられてきた. 2つのクリック音の間隔(SOA: Stimulus Onset Asynchrony)を操作して2音が別々の音として知覚されるSOAの関値を求める実験では, SOAが数 msを超えると2音は別々の音として知覚されることが明らかにされている[3].加えて,２音の順序判断のためには，音の種類にもよるが15-20 ms程度のSOAが必要であることが報報告されている[3].しかし，このような実験はクリック音という非常に短い音を対象としたものが多く，音が一定時間継続するピアノ音においても同様の特性が得られるかどうかは定かでない.そのため,本研究ではまず,ピアノ音の重音・和音の構成音が同時に演奏されたと知覚される（時間的にずれた別の音として知覚されない） SOAの範囲を定めた（実験1).次に，実験1で定めた同時に演奏されたと知覚される範囲において，SOAの異なる二つの重音・和音刺激を提示し，それらの弁別特性を調べた（実験2).最後に,被験者ごとに自分の選好する音色をもつ音刺激を選択してもらったうえで，提示された音刺激が自分の選択した音刺激と同一であるかを議別する実験を行った（実験3）.
2.実敗1
2.1.被酸者・装置
本実験の被験者は13名で,うち10名が重音実験, 3名が三和音実験に参加した．被験者は1200円の謝礼を受け取った.本実験は電気通信大学の「人を対象とする研究に関する倫理委員会」の承認(管理番号22026)を受けている（他の実験も同様）.被験者の楽器演奏経験については実験時にアンケート調査を行った.実験は静かな研究室内で行った.音刺激はデジタルピアノ音源(Pianoteq7, Modartt社)を用いて作成し，デジタルオーディオインターフェース(Rubix-22, Roland社）により増幅し密閉型ヘッドフォン（HD280 PRO MK2, Sennheiser社）を通して提示した．実験制御には心理実験用ソフトウェアであるPsychtoolboxを用いた.
2.2.条件・手順
音刺激は重音としてC4+G4(ドソ),C4+F4(ドファ), C4+E4 (ドミ), E4+G4 (ミソ),三和音としてC4+E4+G4 (ドミソ)を用いた. SOAは, 0 msは除き,重音では低音を高音に対して−25 msから25 msまで5 ms間隔の10段階，三和音では1音の立ち上がりを他の2音に対して−40 msから40 msまで5 ms間隔の16段階を設定した.音刺激の継続時間は2 sとし,立ち下がり時刻はSOA条件によらず常に同時とした.実験課題は，提示された音刺激が同時に鳴っているかずれて鳴っているか判断しキーボードを用いて回答することである．被験者には実験に先立ち「一つにまとまった音」として聞こえる参照音としてSOAが0 msの音刺激を繰り返し提示した.また,本実験の前に練習課題を数試行行い，その過程で課題を快適に遂行できるように被験者各自に刺激提示音量を調節させた.本実験では，各プロックで音高の組み合わせを固定し，上記SOA条件の音刺激をランダムな順序で，重音では5回、三和音では1回ずつ提示した.プロック問に1分間の休憩をはさみ,重音では音高の組み合わせごとに3プロックを行った.いずれの実験も全体で12プロック行い，実験時間は全体で50分程度であった.
2.3.結果・考察
各被験者から得られた応答に基づいて心理測定関数（誤差積分関数）を定め,「ずれて鳴っている音」として開こえるSOAの関値（心理測定関数が0.5となるSOA値）を求めた.なお,重音実験では10名の被験者のうち2名については心理測定関数が適切に定められなかったため分析から取り除いた.図１は得られた関値をまとめたものである. (a)は重音実験の結果で，各音高組み合わせに対し高音が先に立ち上がる条件（Higher advanced）と低音が先に立ち上がる条件(Lower advanced)を別々に表している. (b)は三和音実験の結果で,横軸の１音が先に立ち上がる条件(Advanced)と遅れて立ち上がる条件(Delayed)を別々に示している.この結果より,重音では音高の組み合わせによらずSOAが概ね10～20 ms以下，三和音では１音の立ち上がりが他の２音に対して−10～30 msの範囲に収まっていれば「一つのまとまった音」として知覚されることが明らかになった.また，音高の組み合わせによっては，一方の音が先行する場合と他方の音が先行す場合のあいだでSOAの関値に大きな差があった.このほか，データは示さないが,ピアノ演奏経験のある被験者(3名)はそうでない被験者に比べて全般的に関値が小さかった.
3.実敗2
3.1.被酸者・装置
本実験の被験者は12名であり，うち3名がC4+G4 (ドソ実験, 3名がC4+F4(ドファ)実験, 3名がC4+E4 （ドミ）およびE4+G4 (ミソ）実験，名が三和音実験に参加した.実験環境,装置は実験１と同一である.
3.2.条件・手順
音刺激は実験１と同一である. SOA条件は, ０msを除いて，重音のC4+G4・C4+F4では低音を高音に対して−15 msから15 msまで5 ms間隔の6段階, C4+E4 • E4+G4では−15 msから15 msまで10 ms間隔の4段階,三和音では1音の立ち上がりを他の2音に対して−15 msから25 msまで10 ms問隔の５段階設定した.実験課題は，二つ続けて提示される音刺激の音色が同じか異なるかを判断してキーボードを用いて回答することである.二つの音刺激の間隔は2 sであった.本実験の前に練習課題を数試行行い，その過程で課題を快適に遂行できるように被験者各自に刺激提示音量を調節させた.本実験では, 1プロックにすべてのSOAの組み合わせを2回（C4+E4・E4+G4では4回）ずつランダムな順序で提示した（SOAの組み合わせはC4+G4・C4+F4では30通り， C4+E4・E4+G4では16通り，三和音では25通り).プロック間に1分間の休憩をはさみ合計6プロックを行った.実験時間はいずれの実験も全体で50分程度であった.
3.3.結果・考察
図2は得られた結果の一部を1番目の刺激のSOA （1st SOA）ごとに表したものである（紙面の制約上C4+G4・C4+F4の結果は不掲載）.横軸は2番目の刺激のSOA (2nd SOA) ,縦軸は同じ音色と判定された割合の被験者間平均を表している．また，黒色のマーカは２つの刺激のSOAが等しい条件を表している.この図から，SOAの異なる二つの重音は不完全ながらも弁別可能であることがわかる．ほとんどの音の組み合わせにおいて同一音色として判断される割合は二つの刺激のSOAが等しいときであるが,ここで特に指摘すべきことは，正答率のプロファイルが必ずしも単峰形にならず，SOAが離れた条件で高い割合を示す場合があることである.例えば，C4+E4の組み合わせでは，1st SOAが15 msである場合は2nd SOAが15 msの条件だけでなく−15 msの条件でも同一音色と判断する割合が高い.また, lst SOAか5 msである場合には2nd SOAが5 msの条件だけでなく−5 msの条件でも同一音色であると判断する割合が高い傾向が見られる.この結果は，SOAそのものの違いではなく，SOAの絶対値の大小の違いが音色弁別の手がかりになっていることを示唆している.実際, C4+E4とE4+G4のデータをプールして検定すると,  1st SOA = 5 msの場合に2nd SOA = 15 msと−5 msの条件（SOA差は10 msで同一）を比較すると後者の方が同一音色と知覚する割合が有意に高く( t (5) = 6.71, p < 0.001), また， 1st SOA = −5 msの場合に2nd SOA = –15 msと5 msの条件を比較すると後者の方が有意に割合が高かった(t(5) = 3.00, p < 0.05).
4.実戦3
4.1.被験者・装置
本実験の被験者は６名であり，うち３名が重音・三和音実験，３名が四和音実験に参加した．実験環境・装置は実験１と同一である.
4.2.条件・手順
音高の組み合わせは実験1,2で用いた5種類に加え，四和音のC4+E4+G4+B4（ドミソシ）を用いた. SOA条件は，重音では低音を高音に対して−15 msから15 msまで10 ms間隔の4段階，三和音では1音の立ち上がりを他の2音に対して−15 msから25 msまで10 ms間隔の５段階設定した.また,四和音については, 1音の立ち上がりを他の３音に対して−15 msから25 msまで10 ms問隔の5段階と，2音の立ち上がりを他の2音に対して−15 msから25 msまで10 ms間隔の5段階設定したものを準備した.被験者の課題は,異なるSOAをもつ音刺激の中から自分が望ましい音色と感じるもの１つを選択したのち,その後に提示される音刺激の音色が自分が選択した音刺激の音色と同一であるかを判断してキーボードを用いて回答することである.本実験では，各プロックで音高の組み合わせとずらす構成音を固定して，各条件が12試行（重音では15試行）となるようにしてランダムな順序で刺激を提示した．重音・三和音実験ではSOAを変化させる音が7種類，四和音実験では10種類であった．プロック間で1分間の休憩をはさみ，重音・三和音実験では合計7プロック，四和音実験では合計10プロックを行った．実験時間は全体で50分程度であった.
4.3.結果・考察
図3,4は，四和音を除いて得られた結果を音高の組み合わせごとに表したものである，横軸は提示された音刺激のSOA，縦軸は被験者が選択した音刺激と同一音色と判定した割合を表している.また，黒色のマー力は選択した音刺激と提示された音刺激のSOAが等しい条件を表している.この図からわかるように，被験者2は自分の選好する音色を正確に聴き分けているが，他の被験者は必ずしも聴き分けられていない．被験者3は全体的に成績が悪く，中でも三和音（C4がずれる条件）に関しては，自分の選好するSOA 15 msの音刺激よりもSOA -15 msの音刺激を同一音色と判定している割合が高くなっている．一方，被験者１は，SOAの絶対値が等しい音刺激を同一音色として知覚している.これらの傾向は，実験2で指摘したように，SOAの絶対値が音色判断における重要な手がかりであることを示唆している.
5.まとめ・全体的考察
本研究ではピアノ音の重音および和音を対象として，構成音の打鍵タイミングの関係性(SOA)が音色知覚に与える影響について実験的に検討した.実験１では，ピアノ音ではSOAが10～20 ms程度以上あると音がずれて知覚されることを明らかにした.実験2の弁別実験では, SOAそのもの違いよりもSOAの絶対値の違いが音色弁別の手がかりとして重要であることを示唆する結果が得られた．実験3では，被験者間で大きな違いがあったものの，一部の被験者ではSOA が異なる音刺激のあいだで音色識別が可能であることがわかった. SOAの絶対値が重音の音色弁別成績に影響を与えた原因として，本実験の被験者が，SOAの異なる重音に対しそれぞれ固有の音色を知覚したのではなく, SOAが短いか（ほぼ同時に鳴ったか）長いか（ややずれて鳴ったか）の違いを手がかりとして弁別していた可能性は否定できない．一方で，実験3において異なるSOAの音刺激を確実に区別できる被験者もいたことから，SOAの異なる音刺激がもたらす音色知覚の中身は聴取者に依存していることは間違いない．実験３で識別成績が高かった被験者はピアノ演奏経験が18年あったことから，SOAの異なる音刺激の音色弁別・識別能力はビアノ演奏経験に依存していることは十分に考えられる．仮にこれが事実であるとすれば，そのことは逆にピアノ演奏家が打鍵タイミングを操作して重音や和音の音色を制御している可能性を示唆する.本研究では，被験者のピアノ演奏経験についてアンケートで調査したが，演奏経験がある被験者はすべてアマチュア演奏家であったため，日常的に演奏活動を行っている職業演奏家がどの程度の音色識別能力を有しているかまで検討することができなかった．今後は職業ビアニストを対象とした実験を行うことで，打鍵タイミングの操作が重音・和音の音色制御に用いられているかどうかについてさらに検討する必要がある.本研究の一部は科学研究費補助金・挑戦的研究（萌芽）22K18648の補助を受けて行われた．この場を借りて謝意を表する.
文
代
[1] Bregman, A.S. : Auditory Scene Analysis, MIT Press (1990) [2]大串徳吾：音響聴覚心理学，誠信書房（2019) [3] Hirsh, I.J. : Auditory perception of temporal order, Journal of the Acoustical Society of America, 31, 759-767 (1959)