「インタラクション，99」 平成11年3月

フィードバックを利用した伴奏システム＊
高橋岳樹 堀内靖雄 市川薫†

tel：043−290，3300 fax：043−290−3269 e−mail：hory＠icsd4．tj．chiba−u．aC．JP
千葉大学工学部情報画像工学科‡〒263 8522千葉県千葉市稲毛区弥生町1−33
ような現象が起こるかについて簡単なシミュレーショ

1 はじめに音楽情報処理の一分野として伴奏システムというもンで検証した．まず遅延する側がその遅延を考慮しないのが研究されている．伴奏システムとは，システムに独場合を考える．協調演奏においては，互いが相手のテン奏者，伴奏者の楽譜を与え，独奏者の演奏から現在の楽ポに合わせようとして演奏を行うが，遅延する側は自ら譜上の位置を判断し，独奏者のテンポなどに合わせての演奏遅れを知らないため，実際の発音時刻より早く自伴奏パートを演奏するものを指し，実用的な側面もさる事ながら，その研究を通じて人間の動作を解き明かすと分の発音時刻を見積もり，結果的に相手に合わせるために自らのテンポを遅くする．それに対するもう一方の側

いった認知的な側面も持ち合わせている．いくつかの伴は，相手の遅延した発音時刻を，相手がテンポを遅くし奏システムがすでに発表されている（文献【1】に概説がようとしていると考え，自らのテンポを遅くする．結果ある）が，これらはシステムが自らの伴奏を「聴く」と的にテンポは振動しつつも単調減少し，演奏者の意図にいうことを想定していない．これは人間の伴奏に例えれは種違いテンポとなってしまう．この結果を図1に示す．

ば，相手の演奏のみ開いて自分の演奏を開かずに演奏す

縦軸はテンポ，横軸は時間を表す．一方，遅延する側が，ることに等しい．このことは，システムに内在する要因

遅延はしても，自らの発音時刻が正確にわかりそれを補／ による伴奏の発音遅延が生じたときに問題を引き起こ償できる場合，テンポの誤認ほ起こらず，演奏者が目標す．本研究では，この間題点を指摘し，伴奏システムにとするテンポの周辺を振動して演奏を続けることがでフィードバック機構を導入する事でその間題点を解決すきる．この結果を図2に示す．

る手法を提案し，実装によってその有効性を確認する．
2 時間遅延の要因と問題点
2．1 時間遅延の要因
従来のシステムでは，通常，伴奏の演奏に外付けの音源（MIDI音源）が採用されている・MIDI音源は，発音■○命令を受信した後，楽音信号の合成を行ってそれを発音するが，この合成にかかる時間は機器によってさまざま

図1：遅延を考慮しないである．今回われわれが検証した音源では，およそ8ms〜15msの遅延が生じていた．また，ホストコンピュータが伴奏における時間管理を行うが，この時間管理に利用されるタイマ自体も不安定な場合があり，われわれが伴奏システムを作成しているパソコンのOSでは，このタ●○イマの遅延が0〜15msに及んでいた．

2．2 遅延による問題点

図2：遅延を補償する

前述の要因により，システムが想定する発音時刻と，8 フィードバックを利用した伴奏システム実際の発音時刻との間には遅延が生じる．問題点を明確

乱1 システムの構成にするため，2著聞の協調演奏において，一方が発音に遅システムの構成を図3に示す．MIDI音源から発音さ延を生じる場合，演奏テンポ（演奏のスピード）にどのれた楽音信号に対して，A／D変換ボードでサンプリン＊An AccompanimentSystemwith FbedbackControl
グし，DigitalSignalProcessor（DSP）によって信号処理†TakekiTakahashi，YasuoHoriuchi，AkiraIchikawa‡Dept・OfInformation and Computers Sciences，Facultyof を行うことで発音時刻を検知する．独奏の発音時刻と，
Engineerlng，ChibaUniversity

伴奏の発音時刻は，DSP上の高精度タイマで検知される−59−

計画の作成

独奏認識

計画の修正

ずれ検知

伴奏認識

図3：システム構成が，独奏と伴奏が同一の時計によって計測されることで，システムの入力から出力の間で発生するさまざまな遅延の影響を受けずに，正確なずれを知ることができ，それを伴奏の計画修正に利用することができる．

3．2 発音時刻の検知
本システムの発音時刻検知アルゴリズムにおいては，遅延にはゆらぎがあり，このゆらぎは予測することが音の立ちあがりを， 近傍に対して音量の増加率が最大できないため，フィードバック機構を利用しても，発音の点 と定めた．しかし，単純にそのような点の開催処理のずれを0にすることはできない．しかし本システムでで立ちあがりを検出した場合，和音発音におけるパワーは，過去の演奏（独奏と伴奏）をゆらぎ分も含めて正確のうなりや，前発音のパワーのゆらぎなどを誤認識してに認識して伴奏制御を行なうため，そのゆらぎ分も補償しまう可能性がある．そこで，本アルゴリズムは，ホストした伴奏を行なうことが可能である．実際，人間の伴奏が伴奏の発音を送信した時点での予想時刻を基準とし者による演奏にもゆらぎが生じているので【3】，本シスて探索窓を設定し，その窓の中でノヾワ一成分の微分値テムによる伴奏も人間の伴奏とそれほど異なるものとが極大となる位置を立ち上がりとする（図4）．また，先はならないであろう．

行研究（【2】）の立ちあがり検出を参考にして，予想時刻5 おわりにから離れるほどペナルティを課すようにした．この手法

本研究では，従来の伴奏システムにフィードバックをにより上記のような方法よりも正確な立ちあがり時刻導入することにより，システムで発生するさまざまな遅を得ることができた．

延を補償した演奏を行なうことが可能な手法を提案し，l⊃亡、リー1￣

評価実験により，その効果を検証した．

今後の課題として，人間の立ちあがり検知に関するさらなる認知科学的な検証が必要である．本研究の主目的は，フィードバック機構の動作確認が主目的であったた
め，今回用いたアルゴリズムでは簡単な立ち上がり検出を行なったが，人間が実際の楽音に対し立ち上がりとし

図4：立ちあがりの検出て認識する位置と，このアルゴリズムで取得する位置と4 シミュレーションおよび結果の比較評価を行い，より人間に近い立ち上がり検知能力をフィードバック機構に持たせることで，その伴奏制御

本フィードバック機構に対して，簡単な演奏のシミュレーションによる評価実験を行った．独奏として一定間能力もより人間に近いものにできると考えられる．

隔（500ms）で発生するパルスを入力し，システムはこの参考文献

パルスに合わせるようにピアノ中央のドを発音する．図【1】堀内靖雄．自動伴奏．長嶋洋一，橋本周司，平賀譲卜平田圭二（編），コンピュータと音楽の世界

5が遅延を考慮しない場合のずれ（独奏のパルネと伴奏の立ち上がりとのずれ）の分布，図6が遅延を補償した（bit別冊）・共立出版，1998．

場合のずれの分布である．試行数はともに500で，修正を【2】片泰時弘，井口征士．知的採譜システム．人工知「 行わない場合，ずれの平均が9．6msec，分散が17．8msec

能学会誌，Vol．5，No．1，1990．

である．一方，修正を行う場合，平均が−0．3msec，分散が【3】堀内靖雄，三井卓，財津茜，市川薫．二人の人間に12．6msecと，遅延影響を緩和する方向にずれを修正す

よる演奏の協調動作について．情処研報，Ⅶ1．98，ることができた．

No．74，1998．

−60−