仮想ライブハウスシステムの実現に向けて
浜中

雅俊*1

Toward developing a Virtual Live House System

Masatoshi Hamanaka*1
Abstract ― Toward developing a virtual live house system, we introduce three kind of systems which weconstructed: Guitarist simulator, FATTA (Full Automatic Time-span tree Analyzer), and Sound Scope Headphones.
Keywords :Guitarist Simulator, FATTA (Full Automatic Time-span Tree Analyzer), Sound Scope Headphones

1．はじめに音楽には様々な楽しみ方が存在する．多くの曲を聴きたいと思う場合には，CD ショップや音楽情報配信サービスで曲を購入して聴くのが良いであろう．一方，音楽の一過性，即興性，対話性を味わいたいと思う場合には，小さなライブハウスなどへ赴いて演奏を聴くのが良いであろう．
ライブハウスでは，生の演奏音がフロアに聞こえるため，ステージ上の雰囲気を肌で感じることができるし，自分でフロアを歩きまわって自分の聴きたい演奏者の前に移動しその演奏者の演奏を注聴することもできる．
しかし，ライブハウスへ行くのが時間的，空間的に困難な場合もあるし，たとえライブハウスへ行くことができたとしても，自分の好みのミュージシャンが出演しているとは限らない．また，フロアが混雑している場合には，聴きたい演奏者の前に移動することも困難である．
本稿では，上記のような問題を解決し，ライブハウスの醍醐味を最大限に味わえるようなシステム“仮想ライブハウスシステム”を実現するた
めに，我々がこれまでに開発してきたシステムを紹介する．
2．個性を統計的に模倣し即興演奏する
仮想演奏者： Guitarist Simulator

計的習を行うことで様々な個性豊かな仮想演奏者を構築することができる．
演奏者の個性には様々な側面があるが，Guitarist Simulator では，演奏者の振舞い，演奏者固有のフレーズ，発音時刻ゆらぎという 3 種類の個性を定義し，その獲得を実現した．
獲得した個性データを用いて仮想演奏者を動作させた結果，人間のギタリストとソロや伴奏を自由に交代しながら個性的な演奏を実現していた．
たとえば，ある仮想演奏者は自分がソロをしているときに人間の演奏者がソロを開始すると，ソロを止めて伴奏に回る傾向が強かったが，挑発的な演奏をする演奏者を模倣した仮想演奏者は同じ状況のときにさらに激しいソロで対抗しようとしていた．
3．音楽知識を持った仮想演奏者を実現する
楽曲分析器: FATTA
Guitarist Simulator は統計的学習手法を用いているため，ソロの受け渡しなど演奏中でたびたび生じる事象については十分なサンプル数により適切に学習することができたが，ギタリストのいわゆる"必殺技"のように演奏中に 1 回しか生じないが非常に重要な事象については，サンプル数の不足により学習することが困難であるという問

Guitarist Simulator は，ある演奏者を模倣した仮想演奏者と人間の演奏者が一緒にジャムセッションできるシステムである[1-3](図 1）．その特長は，3 人のギタリストでジャムセッションした演奏記録さえあれば，それを用いて統計的学習を行うことで演奏者の個性を獲得することを可能とした点である．
したがって，有名な演奏者や，遠くに住んでいてなかなか会えない演奏者，既に亡くなった演奏者などの演奏記録が手に入ればそれを用いて統*1*1: 筑波大学， hamanaka@iit.tsukuba.ac.jp: University of Tsukuba

図 1 Guitarist Simulator題が生じていた．したがって，演奏中の重要な部分とそうでない部分を区別するためには統計的な手法だけでは不十分で，別の手法が必要となる．
そこで我々は，音楽家の持つ音楽知識を計算機上に実装することで，演奏中の重要な部分とそうでない部分を区別できると考え，音楽知識に基づき動作する仮想演奏者の構築を目指している．そして，そのための第一歩として現在我々は音楽理論 GTTM (Generative Theory of Tonal Music)の計算機上への実装を試みている[3-5]．
図 2 は，我々が音楽理論 GTTM を計算機実行用に拡張した exGTTM を実装した音楽分析器 FATTA(Full Automatic Time-span Tree Analyzer) の分析結果である．分析の結果得られるタイムスパン木は，旋律の本質的な部分と装飾的な部分を区別することが可能で，たとえば図 2(a)のような旋律は，タイムスパン木を用いることで図3(b)や図3(c)のような本質的な部分を抽出することができる．

パートが大きく聴こえるようになる．さらに耳に手を近づけると，そのとき正面で聴いているパートがさらに強調され，あたかもフォーカスしたかのように聴くことができる．音楽初心者の場合，どの楽器がどのような音色であるかわからない場合が考えられるが，図 3 は，周囲に楽器を配置し，各楽器の音量に応じて楽器に照明を当てることで楽器とその音色との対応関係がとれるように工夫したものである 1．

図 3 Sound Scope Headphones
簡約レベル（ｃ）

5．まとめ

簡約レベル（ｂ）

本稿では，我々がこれまで研究してきた，3 つのシステム，Guitarist Simulator，FATTA，Sound
Scope Headphones について紹介した．今後これらのシステムを統合していくことによって，音楽の醍醐味である一過性，即興性，対話性などが味わえる “仮想ライブハウスシステム”を実現していきたい．

（a)
（b)
（c)

図 2 タイムスパン木

参考文献
[1]

Learning-Based Jam Session System that Imitates a Player’s

4． 聴きたいパートを注聴できる音楽鑑賞
インタフェース: Sound Scope Headphones

Hamanaka, M., Goto, M., Asoh, H. and Otsu, N. A
Personality Model, Proceedings of IJCAI2003 , pp. 51–58 (2003).

[2]

浜中雅俊, 後藤真孝, 麻生英樹, 大津展之: Guitarist
Simulator: 演奏者の振舞いを統計的に学習するジャ ム

Sound Scope Headphones[6]は，ライブハウスのフロアで演奏を聴きながら自由に歩きまわっている時のように，自分の聴きたい演奏者の演奏を注聴することができる音楽鑑賞インタフェースである．その特長は，頭を上下左右に振ったり，手を耳に添えて耳を澄ませるようなポーズをするなど人間が音を聴くときに自然に行う動作を，ヘッドフォンに搭載した地磁気センサ，傾斜セン
サ，距離センサの 3 種類のセンサで検出することで音楽用ミキサーのコントロールを可能にしている点である(図 3)．Sound Scope Headphonesを使用して左を向けば左から聴こえていたパートが正面で聴こえ，右を向けば右から聴こえていたパートが正面で聴こえるようになる．また，上を向けば遠くに配置した，下を向けば近くに配置したセッションシステム, 情報処理学会論文誌, Vol. 45, No.
3 , pp. 698–709 (2004).

[3]

浜中雅俊: 個性を模倣した仮想演奏者の実現, 情報処
理学会会誌, Vol. 47, No. 4, pp. 374–380 (2006).

[4]

浜中雅俊, 平田圭二, 東条敏: 音楽理論 GTTM に基づくグルーピング構造獲得システム, 情報処理学会論文誌,Vol. 48, No. 1, pp. 284-299, January 2007.

[5]

Hamanaka, M., Hirata, K. and Tojo, S. ATTA: AutomaticTime-span Tree Analyzer based on Extended GTTM,
Proceedings of ISMIR2005, pp. 358-365, September 2005.

[6]

Hamanaka, M. and Lee, S. Sound Scope Headphones:
Controlling an Audio Mixer through Natural Movement,
Proceedings of ICMC2006, pp. 155-158, 2006.

1 デモビデオを以下のアドレスに公開している．
http://music.iit.tsukuba.ac.jp/hamanaka/video/SSH.rv