指揮者のヒューリスティクスを盛り込んだ指揮システム“VirtualPhilharmony”
馬場隆†

橋田光代†

片寄晴弘†

Conducting System with heuristics of the conductor “VirtualPhilharmony”
TAKASHI BABA†

1.

MITSUYO HASHIDA†

はじめに

HARUHIRO KATAYOSE†

ことで MIDI のコントロール信号等を制御するというものある(1)．片方の手で拍打を与えつつ，もう片方指揮者は，19 世紀に専門職となって以来現在に至るの手で楽曲の音高や音色をリアルタイムに変化させるまで，オーケストラの要として常に脚光を浴び，憧れことができる．このシステム自体は指揮行為自体の模の存在であった．その理由の一つとして，指揮者は百倣を目的に作られたものではないが，拍打によって楽人にも及ぶオーケストラ団員を駆使して音楽を表現す

曲のテンポを制御する，という行為は結果的に指揮とるという，一人で楽器を奏で，歌を歌うのとは全く異同義であり，指揮システムにおける先駆けである．

なる表現手段を有する点が挙げられる．その魅力ゆえ奥平らによる“iFP”(2003)は，ピアノの名演をデーに，往年の巨匠の名録音に合わせて指揮棒を振る，とタ化した演奏表情テンプレートを用意し，それに対しいう趣味を持った人が数多くいるのだろう．では，そて手振り等の単純動作で拍打情報を与えることによっの演奏が自分の振りに合わせて動いたらどうだろうか．て，ピアノ演奏を自在に表現しようという拍打型演奏

近年，音楽に対する新たなアプローチの方法として，インタフェイスである(2)．MIDI テルミン（静電容量能動的音楽鑑賞という考えが提唱されている．これまセンサ）等を用いて拍打を抽出し，過去のテンポデーで聴く一方であった聴者が，音楽の生成にも能動的にタから次拍を予測することで拍打に追従させている．

関与し，奏者と聴者の双方のインタラクションによっNakra らによる“UBS Virtual Maestro” (2007)は，て音楽を創造していこうというものであり，様々な研Wii リモコンの加速度センサを用いて拍打を検出，究が行われている．指揮動作に音楽を追随させる，いphase vocoder を用いて拍に合わせて音響信号の時間伸

わゆる指揮システムもこの一環であり，数多くの先行縮を行い，映像も同期させるというものである(3)．

研究が存在する．

MIDI ではなく実際の生演奏を用いているが最大の特筆者（馬場）は音楽大学を卒業し，指揮の経験も持徴である．ボストンシンフォニーホールのロビーに専

つ．その立場からは，これらの先行研究の演奏感は必用ブースを設け，気軽に楽しめる環境を整備している．

ずしも満足の行くものではなく，スケジューラの見直Wii Music(2008,任天堂)は，60 種類以上の楽器を，しが不可欠であると認識した．我々は，指揮者の持つWii リモコンを用いて模擬演奏するというゲームであヒューリスティクスを盛り込むことでこの問題を解決り，その中に指揮も含まれている．ただし，鋭敏な反し，プロユースにも耐えうる本格的指揮システムの構応ゆえに，しばしば楽曲が破綻してしまう．

築を目指している．本稿では，その取り組みとして，“VirtualPhilharmony”（以下 V.P.）を提案する．

2.

先行研究

3.

V.P.の概要

V.P.は，先の iFP を基に設計されている．iFP の対象楽曲がピアノであったのを，オーケストラへと変更し，Max Mathews の“Radio Baton”(1987)は，両手に持同時にスケジューラの見直しを実施している．設計にったバトンを平面センサ上で動かしたり叩いたりする

あたっては本物の指揮感覚をできるだけ忠実に再現することを課題とし，指揮経験者である開発者のヒュー† 関西学院大学
Kwansei Gakuin University

リスティクスを採り入れたことが大きな特徴である．

情報処理学会 インタラクション 2010

採り入れたヒューリスティクスのうち主なものを以下に挙げる．

100g 程度であるが，腕に装着しているため指揮棒の操作に影響はない．3 次元の加速度情報より重力を抽

1.

次拍のテンポの予測スケジューラの見直し

出してこの方向を鉛直成分と定め，鉛直成分の極小値

2.

楽曲の拍点と振りの拍点(極小点)との間の時差を拍点，拍点近傍における絶対値の極大値を音量とし3.

小節内の各拍におけるテンポの推移た．これらの検出には鉛直成分 1 次元のみを使用して4.

様々な曲種における特徴的なテンポ変化いるが，プレイヤーは自由に指揮図形を描くことが可これらに関しては章を変えて詳述することとし，ま能である．ただし，指揮図形が意味する拍子の提示はず は V.P.のシス テ ム 構 成 図 を 図 1 に 示 す ． V.P.は1 次元では判別できないため，拍子によるテンポ変化

Cycling’74 社の Max/MSP 上で構築されている．

は予測スケジューラの方に組み込むこととした．
図 2 に回路図を，図 3 に装着した様子を示す．

図 1 V.P.システム構成図

3.1

指揮のジェスチュア

指揮で用いられるジェスチュアは通常以下の 3 つに図 2 リストバンドの回路図

図 3 装着したところ

左手に関しては，指揮者によっても楽曲によっても左手の扱いは大きく異なるという問題があり，一意性大別される．

が担保されないため，今回は採用を見送った．ただし，

1. 右手：指揮棒を持ち，空中に図形を描くことで奏全体の音量，パートの指示など，用途を限定してのシ者に拍子や拍打を提示．

ミュレートは可能であり，現在検討中である．

2. 左手：曲の表情付け，奏者への合図等．

3.2

3. その他：視線，顔の表情等．

指揮に際し，楽譜は必要不可欠である．譜読によりV.P.ではこのうち右手の動きのみを扱う（左手に関楽譜情報

楽曲全体を見渡し，すべての音符に意味付けを行う．

しては後述する）．右手の動きから拍点とダイナミク

V.P.では，事前に譜読結果を反映させた SMF (Standardスを獲得し，これらをもとに音楽に表情を付与させる．

MIDI File)を，シーケンサを用いて打ち込みで作成し，通常，拍点は指揮図形における極小値を指すので，ここれを指揮するという手法をとった．この時，SMFれを捉える．また，ダイナミクスは振りの強さ(=加速に含まれる小節番号等の楽譜の詳細情報の読み込みに度)により決定する．

は，CrestMuseXML (CMX) (7)を利用した．

拍点及びダイナミクスの獲得には加速度センサを内CMX で扱われる XML 群のうち，V.P.では楽譜情報蔵した自作のリストバンドを用い，プレイヤーはこれを記述する MusicXML (8)及び，逸脱情報を記述するを右手首に装着して指揮を行う．加速度センサは Wii

DeviationInstanceXML を用いる．後者は音楽演奏表現

リモコンにも内蔵されており，これを用いた研究は多に係る微細情報を取り扱うためのフォーマットであり，いが，Wii リモコン(160g)は指揮棒(10g)に比べて非常音楽における逸脱，即ち各音におけるアタック・リリに重く，指揮動作に影響を与えるため導入を見送った．

ース・音量・テンポ等の楽譜からのずれを記述する．

また，V.P.では以前，指揮棒先端に赤外線 LED を装楽譜製作ソフト Finale を用いて既存或いは自作の楽着し，Wii リモコンの CMOS センサでその動きを読曲を入力し，MusicXML に変換，同じく Finale から出み取ることにより拍点の検出を行っていた．この方法力させた SMF にシーケンサを用いて譜読情報を付与による指揮も可能である．

する．これらより DeviationInstanceXML を合成し，2加速度センサとマイコンに LilyPad Arduino (4)を使つの XML より各音について，小節番号，拍，MIDI用し，サンプリングレート 100Hz で 3 次元の加速度

チャネル，ノートナンバー，音価（以上楽譜情報），情報を取得，BlueSMiRF (5)により Bluetooth 通信を行アタック時のずれ，リリース時のずれ，音量のずれって PC へ送信する．なお，リストバンドの重量は（以上逸脱情報）の 8 種の情報を text 形式で抽出する．

指揮者のヒューリスティクスを盛り込んだ指揮システム“VirtualPhilharmony”

3.3

次拍のテンポのスケジューラ

4.1.2 急激なテンポ変化への対応

指揮システムでは次拍のテンポの予測が不可欠であ

楽曲の節目等では，ritardando や基準テンポの変更

る．拍点のみという限られた情報からこれを行うため等，テンポが急激に変化する場合がある．これらの特には，予測スケジューラの緻密な設計が必須である．

異値をスケジューリング計算に組み込むと，演奏が破iFP では，現在のテンポ Tn から 3 拍前のテンポ Tn-3

綻し，しかもその影響が数拍後まで残ることになる．

までの加重移動平均テンポ An，Tn と Tn-1 の差分 Bn，これを防ぐため，テンポ変化に閾値を設けて閾値を超名演奏テンプレートのテンポ Cn について，それぞれえる変化が生じた場合には過去のテンポ情報を消去，重みを設定することで次拍を割り出していた．V.P.で特異値を新たなテンポとして設定し直すこととした．

もこの方法を基本的に踏襲している．
3.4

出力

4.1.3 拍内のテンポ変化
音楽演奏において，テンポは拍毎の離散値ではなく，出力された MIDI 信号は外部音源へと送信される．

連続的変化を伴うものとして捉えるべきである．このAudio データを用いた指揮システムに比べ，音質の点連続的テンポ変化を直線で近似することで拍内テンポで劣るが，柔軟性は非常に高い．

変化をシミュレートする．現在のテンポ Tn と予測テ

また，指揮における楽譜の重要性を鑑み，ディスプレイに楽譜を表示させることとした（図 4）．譜めく

ンポ Pn+1 を直線で結び，1 拍を 12 等分してそれぞれの個所におけるテンポを疑似拍内テンポとした．

り個所に関しては MusicXML からページ情報を抽出

4.2

することで，自動譜めくりを実現した．

実際の指揮においては楽曲の拍点が指揮動作の拍点

楽曲の拍点と振りの拍点との間の時差の調節より遅れる場合がしばしばある．この時差はテンポによって変動し，一般に緩やかなテンポの楽曲において大きくなる(6)．これを踏まえ，V.P.では時差の量を調節できるパラメータを用意した．
4.3

小節内の各拍におけるテンポの推移への対応

4.3.1 拍節に合わせた過去の参照数
指揮動作から抽出するのは拍点のみであるから，拍子はない（1 拍子）のであるが，実際の楽曲には拍子が存在し，何拍目かでテンポは微細に変化する．iFP
図 4 Visualization

では過去の参照数は 4 で固定であったが，V.P.では現

4.

指揮者の持つヒューリスティクスの導入

在の拍位置によって過去の参照数を可変とした．例と4.1

次拍のテンポの予測スケジューラの見直し

予測する次拍が小節の何拍目に当たるかで過去の参して 4/4 拍子の場合を図 6 に示す．

4.1.1 予測アルゴリズム

照数は 3～6 と変化する．小節内において最も重要な予測のアルゴリズムに平均を用いた場合，局所的な拍は 1 拍目であるから，予測する場合には必ず 1 小節変化は抑制の方向に働く．しかし変化が漸増或いは漸前の 1 拍目から現在の拍までの情報を取ることとした．

減している場合には，次拍 Pn+1 はさらに変化を促進させる方向に予測した方が自然である．図 5 のように，(Tn / Tn-1) ≷ 1 ∩ (Tn-1 / Tn-2) ≶ 1のとき平均(Tn / Tn-1) ≷ 1 ∩ (Tn-1 / Tn-2) ≷ 1のとき(線形)最小二乗法を用いることとした．

また，2/4 拍子・3/4 拍子の場合は参照数が尐なくなるため，2 小節前から参照している．
4.3.2 最終拍への重みづけ
小節内で 1 拍目と共に重要なのが最終拍，4/4 拍子
であれば 4 拍目である．この拍は他の拍に対してテンポが遅くなる傾向が強い．一定のテンポで流れているように聴こえる個所でも，拍毎のテンポを調べると最終拍が若干長くなる場合が多い．
この点について，ブラームスの交響曲第 1 番ハ短調
op.68 の第 4 楽章第 1 主題（62～77 小節）を例にとって説明する．選考理由は有名であること，4 つ振りで図 5 予測アルゴリズム

図 6 過去の参照数振られる 4/4 拍子であること，4 分音符を中心に構成

情報処理学会 インタラクション 2010

され細かい音符のフレーズがないこと等による．演奏

Crestmuse Workshop 2009 においてデモを行い，自動は 1940 年代から現代まで 14 点を選び，各拍のテンポ伴奏システムの第一人者 R. Dannenberg 氏，Renconを聴取により採集した．このうち 1 拍目と 4 拍目のテ

2003 の優勝者 C. Raphael から良い追従感があるとのンポについて小節毎の平均をとり，重回帰分析を実施コメントが得られた．このデモの際には，赤外線センしたところ，表 1 のような結果を得た．

サを用いていたことから，動作範囲を大きくして欲し

表1 重回帰分析の結果

決定係数 R20.988957

観測数14P-値

4.11E-13

偏回帰係数0.96884

切片

4.878828

P<0.01 より 99%以上の確率で 4 拍目は 1 拍目に比しいとの声が寄せられた（図 7）．また，Interaction 2010
では指揮者の保科洋氏の評価についても報告したい．

図 7 Crestmuse Workshop 2009 にてて長いことが実証された．また，4 拍目と 2 拍目，46.

拍目と 3 拍目に関しても同様の結果が得られている．

指揮システム“VirtualPhilharmony”は，指揮者の持これにより，最終拍をそのまま前節で述べた過去のテンポ平均に組込むと分散値が増え，結果予測値が一定テンポから逸脱することになる．この逸脱を抑制するために平均を取る際に最終拍の重みを減らすこととした．ただし，予測テンポが 1 拍目の場合は現在の最終拍の影響は無視できないため，この規則は除外する．
なお，4/4 拍子の楽曲といっても，例えば 4 拍が均等に奏される行進曲のように，様々な性格のものがあり，一様にこの規則を当てはめることはできないため，次節で述べる曲種によるテンプレートと併用している．
4.4

小節内の各拍におけるテンポの推移への対応

ウィンナワルツは 2 拍目を前のめり気味に奏するために 1 拍目が短く，2 拍目が長くなる(9)．これら曲種による特徴的なテンポ変化については，曲種毎にテンプレートを用意した．聴取により様々な楽曲の特徴的テンポ変化を採集し，重回帰分析により特徴量を数値化して，これを予測係数に反映させることとした．
しかし，例えばワルツは「撥ね上げ」という指揮動作によって，1 小節を 1 つ振りで円を描くように振るのが一般的である(10)．同様に 6/8 拍子の楽曲を 2 つ振りで振る場合等もある．これら，指揮動作の拍点と楽曲の拍点が 1 対 1 の関係にない場合の拍毎の調整については未実装である．

5.

検討

V.P.の最大の特徴は，システム設計にヒューリスティクスを数多く取り入れたということである．これにより iFP や Wii Music と比較して，より現実の指揮感覚に近い感触が得られた．

まとめ

つヒューリスティクスを多く盛り込むことで，従来研究になかった高い追従性と音楽的説得力を得ることができた．
V.P.はヒューリスティクスであるが故に，経験則等，客観的評価を行わずに導入したものが多い．これらに対する定量的な検証が必要である．最終拍の影響の検討や曲種毎のテンプレートの作成は，検証の一環である．また，左手の活用等，さらに本物の指揮に近いシステムを構築していく予定である．

参考文

献1) ICMA Video Review, Vol. 1, 1991 (90 minutes)
Review of research in Computers and Music.
2) Haruhiro Katayose and Keita Okudaira : iFP AMusicInterface
Using
anExpressive
PerformanceTemplate,EntertainmentComputing 2004, Lecture Notes of Computer
Science, Vol. 3166, pp.529-540 Springer (2004.9)
3) Teresa Marrin Nakra Yuri Ivanov Paris
Smaragdis Chris Ault : The UBS Virtual
Maestro : an Interactive Conducting System,
pp.250-255, NIME 20094) http://web.media.mit.edu/~leah/LilyPad/5) http://www.sparkfun.com/commerce/product_info.php?prodprod_id=582
6) 新山王政和：指揮基本動作における初心者と熟達者の動作タイミングの違いに関する分析的研究, 日本音楽教育学
会学会誌「音楽教育学第 34-2 号」, pp.1-12, 2004
7) 北原鉄朗，橋田光代，片寄晴弘：音楽情報科学研究のための共通データフォーマットの確立を目指して，pp.149154 第 71 回音楽情報科学研究会発表論文
8) http://musicxml.org/default.asp
9) New Grove Dictionary of Music and Musicians10)斎藤秀雄：指揮法教程, 音楽之友社