Vol. 45

No. 3

Mar. 2004

情報処理学会論文誌

Guitarist Simulator：演奏者の振舞いを統計的に学習するジャムセッションシステム
浜
麻

中
生

雅
英

俊†1,†2 後
樹†2 大

藤
津

真
展

孝†2,†3之†2,†4,†5

本論文では，ある人間の演奏者を模倣した仮想演奏者と，人間の演奏者とがインタラクティブに即興演奏できるジャムセッションシステムについて述べる．本研究の目的は，あたかも実在する人間の演奏者のような振舞いをする仮想演奏者を生成することである．従来の多くのジャムセッションシス
テムでは，仮想演奏者がどのような振舞いをするかは，アド ホックなルール群などにより決定されていた．そのため，ルールのパラメータの調整により仮想演奏者に異なる個性を設定できても，実在する人間の演奏者と同じような振舞いをさせることは困難であった．本研究では，演奏者が聴取した演
奏と現在弾いている演奏との関係，すなわち，演奏者の入出力関係を統計的に学習することにより，演奏者の振舞いのモデル（ 相手の演奏に対してどのような演奏をするかを決めるモデル ）を獲得する手法を提案する．本手法の特長は，ジャムセッションの演奏記録さえあれば，それに参加した任意の演奏者の振舞いのモデルを獲得することができる点である．ギタートリオの MIDI 演奏を対象として，振舞いのモデルの学習機能を備えたジャムセッションシステム Guitarist Simulator を計算機上に実装した．実験の結果，MIDI ギターの演奏記録から，任意の 1 人の振舞いのモデルを学習可能なことを確認した．

Guitarist Simulator: A Jam Session System
Statistically Learning Player’s Reactions
Masatoshi Hamanaka,†1,†2 Masataka Goto,†2,†3 Hideki Asoh†2
and Nobuyuki Otsu†2,†4,†5This paper describes a jam session system that enables a human player to interplay with
virtual players, each of which imitates musical reactions of some human player. Our goal is
to create a virtual player which reacts as if the actual human player does. Previous session
systems have not been able to imitate such reactions, although those have parameters foraltering a way of reacting. Our system can obtain the reaction model of a human player,
namely, a characteristic way of reacting to the other players, by learning the relationshipbetween MIDI data which the player listens to and MIDI data improvised by the player. It
is not necessary to examine the target player directly: the session recording is all we need tobuild the model. The experimental results show that the proposed system called Guitarist
Simulator dealing with a guitar trio can learn the reaction model of any participant from the
MIDI recording of a session.

1. は じ め に†1 日本学術振興会特別研究員 PD
Research Fellow of the Japan Society for the Promotionof Science†2 独立行政法人産業技術総合研究所
National Institute of Advanced Industrial Science andTechnology (AIST)†3 科学技術振興事業団さきがけ研究 21「情報と知」領域“Information and Human Activity,” PRESTO, Japan
Science and Technology Corporation (JST)†4 東京大学大学院情報理工学系研究科
Graduate School of Information Science and Technology, The University of Tokyo†5 筑波大学大学院システム情報工学研究科
Graduate School, Doctoral Program Systems and Information Engineering, University of Tsukuba

本研究の目的は，ある演奏者を模倣した仮想演奏者と人間の演奏者とが一緒にセッションすることができるシステムを実現することである．人間の演奏者はそれぞれ個性を持っており，相手の演奏に対してどのよ
うな演奏で反応するかは異なっている．ここでは，それを演奏者の振舞いと呼ぶ．あたかも実在する人間の演奏者のような振舞いをする仮想演奏者を生成するためには，演奏者個人の振舞いをモデル化する必要があ
る．演奏者の個性の違いは，このような振舞いの違いに表れると考えられるので，振舞いのモデル化が可能
698

Vol. 45

No. 3

演奏者の振舞いを統計的に学習するジャムセッションシステム

699となれば，親しい演奏者や，自分よりも演奏能力の高い演奏者，すでに亡くなった演奏者のモデルを用いた
仮想演奏者といつでもインタラクションすることができるし，自分自身のモデルを用いた仮想演奏者とジャムセッションを行うことも可能となる．
従来のジャムセッションシステム1),2) では，人間の演奏に追従した演奏を仮想演奏者にさせることに主眼がおかれていたため，仮想演奏者に個性を持たせるには至らなかった．一方，文献 3)，4) では，個性デー
タベースと呼ばれるルール群を導入することにより個性の違いを設定することを可能としていた．文献 5)，

6) では，システム外部から変更可能なパラメータを複数用意することにより，各演奏者が主導権を握る程度
を様々に変化させることを可能としていた．しかし ，
これら

3)∼6)

は，パラメータやルールの調整を行うこ

図 1 人間の演奏者と仮想演奏者とが置換可能なセッションのモデル
Fig. 1 A session model in which either human orcomputer can be selected for each player.

とにより，異なる振舞いの仮想演奏者を設定することはできても，実在する人間の演奏者の振舞いを模倣すが重要であるか検討した．そして，演奏者の振舞いのるようなモデルを設定することは困難であった．

モデルを，入力側の主観空間から出力側の空間への関

演奏者の振舞いを模倣するためには，演奏者の入出数として RBF ネットワークを用いて学習する．仮想力関係を学習により獲得する必要がある．文献 7)，8)

演奏者は得られた関数を用いて，聴取した入力演奏かでは，演奏パターンの入出力関係をニューラルネット

ら出力演奏を決定できる．

ワークで学習することにより，人間の 8 小節の演奏に

本研究では，文献 5) で後藤らが提唱しているセッ

対して，8 小節の演奏パターンを出力するシステムをションのモデルをさらに発展させ，人間の演奏者，仮実現した．この研究は，演奏者のモデルを学習により想演奏者あわせて 3 人がギターでセッションするとい獲得していた点が優れていたが，入出力関係を学習すう形式で，人間の演奏者とその振舞いを模倣した仮想

るうえで，どのような物理特徴量が重要であるかは検演奏者とが置換可能となるシステム Guitarist Simu-

討されていなかった．また，人間とシステムが交互に

lator を実装した．3 人の人間の演奏者の MIDI 演奏

ソロを弾くという前提条件があったため，本研究のよ記録をもとに学習を行ったところ，それぞれの演奏者

うに両者が同時にソロや伴奏を弾くことはできなかっの振舞いのモデルが獲得できた．また，得られたモデ

た．さらに，モデルを学習する際にも，8 小節の入出ルを用いて仮想演奏者にセッションをさせたところ，

力データをあらかじめ用意しなければならないという

ソロや伴奏を交代しながら，モデルに基づき実際の人問題があった．実際のジャムセッションの演奏では，間の演奏者に近い振舞いをすることが確認できた．

相手のどのフレーズに対して，どのフレーズで反応し

2. 演奏者を模倣するセッションシステム：
Guitarist Simulator

たかは明らかではなく，文献 7)，8) の手法を用いて，演奏記録から演奏者モデルを獲得することは困難であった．

本セッションシステムは，仮想演奏者が人間の演奏

これに対し本研究では，演奏記録から演奏者の入出者と対等な立場ですべての演奏者の演奏を聴き，その力関係を統計的に学習することにより，演奏者の振舞

演奏に反応するとともに自己主張することができるよいのモデルを獲得することを可能にする．このとき，

う，文献 5) の全プレーヤが対等なセッションモデル

この入出力関係を MIDI データなどから，直接統計的に基づいて構成されている．本研究では，そのモデルに求めようとすると，膨大な量のデータセットが必要

をさらに発展させ，各演奏者が人間であるか仮想演奏となり，限られた長さの演奏記録からモデルを獲得す者であるかが自由なだけでなく，人間の演奏者に入れることが困難である．そこで本研究では，入力と出力

替わってその振舞いを模倣した仮想演奏者に演奏させの物理的な特徴をそれぞれ一段抽象化した 2 つの主観ることが可能となるようにしている（ 図 1 ）．仮想演空間（ 主観を表す空間）を導入する．その際，演奏記

奏者は，自分を含めたすべての演奏者の演奏を聴き，録を有効に用いることにより，どのような物理特徴量

その演奏に対して自分の振舞いを決定するため，相手700

Mar. 2004

情報処理学会論文誌

図 2 演奏者の振舞い
Fig. 2 Player’s reactions.

図 3 演奏者の振舞いのモデル
Fig. 3 Player’s reaction model.

が人間であるか仮想演奏者であるかは問わない．
本研究では，以上のモデルをギタートリオのセッショする．

ンに適用した．すべての演奏者にギターという同一の印象空間と意図空間の導入には，上記のような理由

楽器を演奏させることにより，仮想演奏者の聴取過程のほかに，抽象化により情報を圧縮して純化することでも複数の相手の演奏をまったく対等にとらえること

で，一緒に演奏する演奏者の違いに依存しない演奏者ができる．3 人の演奏者は 12 小節 1 コーラスの典型の振舞いを獲得したいという狙いもある．

的なブルース進行で，ソロや伴奏を繰り返しながら演

2.1.1 印象空間の導入

奏する．調は A，拍子は 4 分の 4 拍子，テンポは 120

印象空間は，演奏から受ける印象を表すのに適してで一定，同じコード 進行を 12 小節周期で繰り返すもいると思われる言葉（印象語と呼ぶ）を座標軸に持つのとする．システムの入出力には MIDI を用いる．

空間である．ジャムセッション中のある時刻において，

2.1 演奏者の振舞い
本研究では，全演奏者の過去の演奏から，次に自分ある 1 人の演奏者の演奏から受ける印象は，印象空間

がどのような演奏をするかを決める過程を「演奏者のぶ．印象ベクトルは，入力演奏から得られる物理的な振舞い」と定義する（ 図 2 ）．システムでは，演奏の特徴量を座標軸に持つ空間（ 物理特徴空間）から印象入出力に MIDI を用いているため，MIDI 入力演奏か空間への写像によって決定される．このとき，演奏のら MIDI 出力演奏を決定するものを演奏者の振舞いと物理的な特徴も物理特徴空間上の 1 点で表されること

上の 1 点で表される．以下，これを印象ベクト ルと呼して学習する．そのために，ここでは，「 印象空間」とになり，これを物理特徴ベクト ルと呼ぶ．印象空間を「意図空間」という 2 つの主観的な空間を導入する．

導入することによって，MIDI データ上では，異なるシステムが適切な出力を出すためには，セッション演奏であっても，それが同じ印象を与えるのであれば，時の MIDI 入力データと同じような入力が，学習時のMIDI データに含まれていることが望ましい．しかし，同じ印象ベクトルとして表される．そのため，同じ印象を与える演奏が MIDI データのレベルに比べて再現

実際のセッションの演奏では，MIDI データのレベル

されやすくなり，セッション時の入力と同じような入で同じ演奏が再現される確率はきわめて低く，様々な力が学習データに含まれやすくなる．したがって，印

入力に対応するためには，膨大な量の MIDI 入出力

象空間の導入により，限られた長さの MIDI データか

データの組が必要となり，入出力関係を学習すること

ら様々な入力に対応した入出力関係を学習することがが困難である．本研究では，この問題の解決法として可能となる．

入力を一段抽象化した，印象空間を導入する（図 3 ）．
象を与える演奏に対して，演奏者が MIDI データのレ

2.1.2 意図空間の導入
意図空間は，仮想演奏者が演奏を生成するときに使用する 1 小節から 8 小節の長さの演奏パターンを，被ベルでまったく同じ演奏で反応する可能性は非常に低験者実験の結果求めた主観的類似度（被験者の主観に一方，実際のセッションの演奏では，同じような印

く，複数の出力が考えられるため，入出力関係を学習

基づく類似度）に基づき配置した空間で，どのようなすることが困難である．そこで本研究では，この問題

演奏を生成したいかを表す．ある 1 つの演奏パターンの解決法として出力を一段抽象化した意図空間を導入

は意図空間上の 1 点で表される．以下，これを意図ベ

Vol. 45

No. 3

演奏者の振舞いを統計的に学習するジャムセッションシステム

701

図 4 仮想演奏者の構成
Fig. 4 Architecture of each virtual player.

クト ルと呼ぶ．印象空間が人間の聴取過程に対応するのに対し ，この意図空間は演奏生成過程に対応する．
意図空間を導入することによって，演奏者の振舞いのモデルは，印象空間から意図空間への関数として学習することが可能となる．

2.2 仮想演奏者の構成
仮想演奏者は，1 ）印象算出部，2 ）意図決定部，3 ）．その詳しい内容
演奏生成部，の 3 つからなる（図 4 ）については，3 章，4 章，5 章で述べる．仮想演奏者は振舞いのモデルを学習するとき（ 学習モード ）とそのモデルを用いて実際にセッションするとき（ 演奏モード ）では，それぞれ異なった処理をする．学習モード
は，非リアルタイムで実行され，印象ベクトルの時系

図 5 振舞いのモデルの学習の手順
Fig. 5 Procedure of learning player’s reaction model.

列から意図ベクトルへの関数を 3 人の演奏者のジャムセッションの演奏記録から学習する．一方，演奏モー

3 つの印象ベクトルが得られる．次に，模倣しようとドは，リアルタイムで実行され，学習によって得られする演奏者が出力した演奏の MIDI データの時系列かたネットワークを用いて仮想演奏者の意図ベクトルをら物理特徴ベクトルを求め，その意図ベクトルを算出

算出し，出力演奏を生成する．

する．最後に，RBF ネットワークを用いて，演奏者

2.2.1 学習モード
演奏者の振舞いのモデルを，人間の演奏者がセッションを行っている間に刻々と変化する印象ベクトルと意
図ベクトルの組から統計的に学習する．具体的には，
以下のような 3 段階の処理を行う（ 図 5 ）．
まず，演奏者が聴取した演奏の MIDI データの時系の振舞いのモデルを，3 つの印象ベクトルの時系列か
ら意図ベクトルへの関数として獲得する．

2.2.2 演奏モード
演奏モードにおける仮想演奏者の動作は以下のとおりである．まず，3 人の演奏者の入力演奏の物理特徴量を求め，得られた物理特徴量の時系列からそれぞれ列から物理特徴ベクトルを求め，それから印象ベクトの印象ベクトルを算出する．次に，3 人の印象ベクトルを算出する．印象ベクトルの算出は，セッションにルの時系列から，意図ベクトルを算出する．最後に，参加しているすべての演奏者に対して別々に行うため，

コード 進行の制約を満たした演奏パターンの中から，

702

情報処理学会論文誌

意図ベクトルに最も近いものを選択して出力する．演
奏はシステムが出すカウント音によって開始する．

3. 印象算出部

Mar. 2004

実験の結果，録音演奏から 1728 個（ 12 コーラス× 12 小節 × 12 個）の印象ベクトルを得た．被験者がセッションの展開を記憶して評定を行うことを防ぐため，録音演奏を繰り返し聴く前に，ジャンルが異な

印象算出部は，演奏者が聴取した演奏の MIDI デー

る音楽 CD を 5 分以上聴かせた．しかし ，それでもタの時系列から物理特徴ベクトルを求め，それから印

セッションの初めや終わりは，展開を記憶してしまい

象ベクトルを算出する部分である．このような写像をやすいので，録音演奏の前後 1 コーラス部分を除い行うためには，演奏者が「ある物理的特徴を持った演

た，1440 個（ 10 コーラス × 12 小節 × 12 個）の印奏を聴いたとき，どのような印象を受けるか」を推定

象ベクトルを用いることにした．実験の所要時間は，する必要がある．ここでは，演奏の物理特徴ベクトル

約 80 時間であった．

と心理実験の結果得られた印象ベクトルとの間の相関

評定の時間分解能を 1 小節の 1/12 としているのは，関係を正準相関分析を用いて求めることにより，印象

被験者がこれより細かい時間分解能で印象の評定を

ベクトル算出のための写像を得ている．正準相関分析

することは困難であると考えたためである．1 小節の（ Canonical Correlation Analysis ）とは，2 組の計測

1/12 の時間分解能で評定した結果，印象ベクトルのベクトル間の相関関係を分析する場合に用いる手法で，連続的な変化が得られたため，その評定結果を用いる

複数の変数からなる 2 変数群（ここでは印象ベクトルことにした．演奏モードにおける印象ベクトルの算出と物理特徴ベクトル）それぞれについて線形合成変数の時間分解能も，評定の時間分解能と同様に，1 小節を求め，2 つの合成変数の相関（正準相関）が最も大の 1/12 とした．

きくなるように重みをつけるものである．

3.1 印象ベクト ルの獲得のための心理実験

3.2 印象語の選択
演奏の物理特徴ベクトルと心理実験の結果得られた被験者（ 音楽経験者 1 人）に演奏を聴かせながら，

印象ベクトルとの間の相関関係を求める際，印象ベク

1 小節の 1/12 の時間分解能で，演奏を表す 10 語（安トルはできる限り低次元であることが望ましい．印象

定感，異質感，開放感，緊張感，堅実感，重厚感，爽ベクトルの低次元化は，演奏者の振舞いのモデルを効

快感，存在感，平凡感，躍動感）の印象語がふさわし

率良く学習するために必要である．ここでは，主成分

いかど うかを 7 段階で評定させる実験を行った．被験分析を行い重要な印象語を選択することにより印象ベ

者は，1 小節の 1/12 の時間窓に含まれる音だけでな

クトルを低次元化した．主成分分析（ Principal Com-く，それ以前の音を含めてその時点での印象を評価す

ponent Analysis ）とは，多変量の計測値から変量間る．用いた演奏は，ギタリストがテンポ 120 で行ったの相関をなくし，しかもより低次元の変量によって元セッションの MIDI 演奏記録（長さ 12 コーラス）の，の計測値の特性を記述するための手法である．

ある 1 人分のパートの演奏である．10 語の印象語は，

印象ベクトルの主成分分析を行った結果，累積寄与

演奏者向きの音楽雑誌で使用頻度の高かった演奏を表

率が 84%までの主成分が 3 つ得られ，第 1，第 2，第す語の中から，特定の物理的特徴量との関わりが深い

3 主成分がそれぞれ，存在感，躍動感，重厚感に近接と考えられる語 を選択している．このような印象語していた．したがって，この 3 つの印象語でほぼ印象を選択することにより，評定の個人差をできる限り小空間全体を表現できることが分かった．以下，この 3☆

さくすることを狙っている．
被験者は，実験用に作成したアプリケーションに表示された横軸の時間軸に沿って，印象が変化したと思

つの印象語を座標軸に持つ空間を印象空間とし，印象ベクトルも 3 次元で表すことにする．

3.3 様々な物理特徴量の抽出われる点で縦軸に評定値をプロットしていく．印象の正準相関分析する際，2 つの合成変数の相関をでき変化がなく，プロットしてない区間については，直前

る限り大きくするためには，印象ベクトルと相関の高の評定値と同じ評定とする．演奏を 1 回聴いただけでい物理特徴量を見つける必要がある．しかし，どのよは，すべての時刻における評定を入力することは難し

うな物理特徴が，演奏から受ける印象に大きく影響しいため，以上の操作は繰り返し行う．その際，前回まているかは明らかでない．そこで本研究では，独立なでの評定結果は，画面上に表示される．

様々な種類の物理特徴量を用意することにした．具体的には，以下のような処理を行った．

☆

たとえば，緊張感という印象語はコード のテンションノート，安定感という印象語は，コード のルートノートとの関連が深い．

まず，過去 12 小節の演奏に含まれるすべての音に対し，1/48 小節の分解能でその時間窓に入った音の，Vol. 45

No. 3

703

演奏者の振舞いを統計的に学習するジャムセッションシステム

ベロシティ，音高，ピッチベンド の値を求める．ベロ

音高が 54 以下の場合に 1 を出力し，そう

シティは，楽器を鳴らす速さ（ 鍵盤を押す速さ）で，でない場合に 0 を出力する．

• 高音の演奏（ 主にソロ）を抽出する関数
音高が 55 以上の場合に 1 を出力し，そうでない場合に 0 を出力する．

0 から 127 の値で表される．音高は，音の高さを指定する MIDI のノート番号で，0 から 127 の値で表される．ピッチベンドは，音の高さを連続的に上下に変化させるためのパラメータで，−8192 から +8192 の値• 低音の演奏と高音の演奏の両方を抽出する
関数で表される．
次に，その値と，音量フィルタ，音域フィルタ，Note
フィルタという 3 つのフィルタの出力を AND 結合し(3)た値の積を求める．音量フィルタ，音域フィルタはそ

つねに 1 を出力する．
Note フィルタ
Note フィルタは，以下で述べる 9 個の関数の9

れぞれ 3 つの関数からなり，Note フィルタは 512 個の関数からなる．そして各フィルタはそのうち 1 つのAND 結合をとった 512 種類（ n=0 9 Cn ）であり，和音の情報を物理特徴量に取り込む意味

関数が選択されるため，3 種類のフィルタを AND 結がある．

合した値は，4,608 通り（ 3（ 音量フィルタ）× 3（音域フィルタ ）× 512（ Note フィルタ ））求められる．

• 3 和音を抽出する関数
コード の 3 和音（ 1 度，3 度，5 度）のい

ここで AND 結合を採用した理由は 3.4 節で正準相関

ずれかの音の場合に 1 を出力し，そうでな分析する際に，AND 結合，OR 結合，XOR 結合の 3い場合に 0 を出力する．

• 6 度，7 度を抽出する関数
6 度または 7 度の場合に 1 を出力し，そうでない場合に 0 を出力する．

通りを試みた結果，AND 結合によって得られた物理特徴量には正準相関の値が高くなるものが多く含まれていたのに対して，OR 結合，XOR 結合により得ら• テンションノートを抽出する関数（ 4 種類）
テンションノート（ 9 度，11 度，13 度，#9

れた物理特徴量には正準相関の値が高くなるものがほ
とんど 含まれていなかったためである．

度）の場合にそれぞれ 1 を出力し，そうで

以下，それぞれのフィルタについて説明する．

(1)

ない場合に 0 を出力する．
• ブルーノート ☆ の 3 度，5 度を抽出する関音量フィルタ
音量フィルタは，以下の 3 つの関数からなり，音量の大小の情報を物理特徴量に取り込む意味

数がある．音量の小さな演奏と音量の大きな演奏

ブルーノートの 3 度または 5 度の場合に 1がよく分離できるよう閾値をベロシティ91 にを出力し，そうでない場合に 0 を出力する．
• ブルーノートの 7 度を抽出する関数

設定した．

• 音量の小さな演奏（主に伴奏）を抽出する
関数
ベロシティが 90 以下の場合に 1 を出力し，ブルーノートの 7 度の場合に 1 を出力し ，そうでない場合に 0 を出力する．
• その他の音を抽出する関数

そうでない場合に 0 を出力する．
• 音量の大きな演奏（主にソロ）を抽出する

上記の 8 種類の関数がいずれも 0 を出力するような音の場合に 1 を出力し，そうでない場合に 0 を出力する．

関数
ベロシティが 91 以上の場合に 1 を出力し，そうでない場合に 0 を出力する．

• 音量の小さな演奏と大きな演奏の両方を抽出する関数
つねに 1 を出力する．

(2)

こうして得られた値の，過去 12 小節分の長さを 12
等分し，それぞれの，平均値，最大値，最小値，一次関数近似の傾きを算出し，それらを物理特徴量とした．
物理特徴量は全部で 663,552 個（ 12 小節 × 3（ベロシティ，音高，ピッチベンド ）× 3（音量フィルタ）×音域フィルタ3（ 音域フィルタ）× 512（ Note フィルタ）× 4（ 平音域フィルタは，以下の 3 つの関数からなり，

均値，最大値，最小値，傾き））生成された．

音域の高低の情報を物理特徴量に取り込む意味がある．高音の演奏と低域の演奏がよく分離できるよう閾値を音高 55 に設定した．

• 低音の演奏（ 主に伴奏）を抽出する関数

演奏の連続性を考えるうえでは，仮想演奏者が物理☆

ブルーノートとは，ブルーノート・ペンタトニック・スケールに含まれる音で，ブルーノートの 3 度，5 度，7 度は，それぞれ
 3 度， 5 度， 7 度である．

704

Mar. 2004

情報処理学会論文誌て，被験者の評定値とシステムの算出値とを，比較した結果である．92%の部分で両者の差は 1 以内であった．システムは，1 小節に 12 回印象ベクトルを算出している．

4. 意図決定部
意図決定部は，演奏者の振舞いのモデルを学習し ，得られたモデルを使って仮想演奏者の意図ベクトルを
図 6 被験者とシステムが示した存在感の値の比較
Fig. 6 Comparing a ‘presence’ impression evaluated by
the system with one evaluated by a subject.

決定する部分である．この部分では，過去の印象ベク
トルの時系列を入力し，各拍ごとに意図ベクトルを出力するようなネットワークを構成する．ソロや伴奏の特徴量を算出する時間分解能は，できる限り細かいほ

切替えや演奏パターンの切替えは拍単位で行えば十分うが好ましいが，あまり分解能が細かいと物理特徴量と考え，仮想演奏者が意図ベクトルを算出して次の演算出の計算量が増大し，マシンパワーが不足するとい奏パターンに切り替えるのを，1 拍単位で行うことにう問題が生じる．そこで本研究では，仮想演奏者のリした．本研究では，4 分の 4 拍子の演奏を扱っている

アルタイム性とマシンパワーとの両者のバランスを考ため，意図ベクトルは 1 小節で 4 回算出される．

えて，1 小節の 1/48 という時間分解能を設定した．

このようなことを行う学習アルゴ リズムとして，本

3.4 物理特徴量の取捨選択
正準相関分析を繰り返し行い，正準得点の大きさによって物理特徴量を取捨選択した．具体的には，以下

研究では RBF（ Radial Basis Function ）ネットワー
円形の等高線を持つ基底関数で展開する方法である．

のような処理を行った．物理特徴ベクトルと印象ベク

これを採用した理由は，データ間の補完能力に優れてトルとの正準相関分析を行うごとに，一番正準得点がいること，ネットワークの重み算出が最小 2 乗法に帰低かった物理特徴量を 1 つ削除し，新たな物理特徴量

着できて容易なことである．

クを採用した．RBF ネットワークは，非線型関数をを 1 つ加える操作を繰り返し，印象ベクトルと相関の本研究では，3 人の演奏者から受け取る過去の印象

高い物理特徴量を選択する．はじめに物理特徴ベクトベクトルの時系列 x（ L 次元 = 3 人 × 3 次元 × 過ルに与えられる物理特徴量は 100 個である．新たに去 n 小節分の印象ベクトル ）を入力し ，意図ベクト

追加する物理特徴量は，物理特徴ベクトルに残っていル y = (ỹ1 , ỹ2 , ỹ3 )（ 3 次元）を出力するような RBF

る 99 個の物理特徴量のいずれに対しても相関が低い

ネットワークを構成する（ 図 7 ）．意図ベクトルの次ものとする．これは，相関の高い物理特徴量を加えて元数は，多次元尺度法により 3 次元としており，具体も正準相関の値が変化しないだけでなく，相関行列の的には，5.3 節で述べる．

状態が悪くなり逆行列が求められなくなるなどの問題

学習用データは，12 コーラス（ 1 コーラスの長さが起こるためである．物理特徴量間の相関は，単相関は 12 小節）の演奏記録に含まれる，過去の印象ベク

係数により求められる．単相関係数とは，2 つの変数

トル x とそれに対応する意図ベクトル y との対，Nの共分散をそれらの標準偏差の積で割った値で，0 の個（ 11(= 12 − 1) コーラス × 12 小節 × 4 拍 =ときに最も相関が低く，1 のときに最も相関が高くな

528 個 ）である．し たがって，入出力デ ータの組は(x (k) , y (k) )(k = 1, 2, . . . , N) となる．
ネットワークは M 個 (M <= N) のユニットを持ち，る．本研究では，物理特徴ベクトルに残っている 99の物理特徴量との単相関係数がいずれも 0.9 以下のものを，新たな物理特徴量として追加することにした．

各ユニットの中心 c i (i = 1, 2, . . . , M) は L 次元で表

正準相関分析を 1,990,656 回（ 663552 × 3 回）行っされる空間上の 1 点を表す．各ユニットは，入力ベクたところ，正準相関の値が 0.9 を超えたため，そこでトル x (k) とユニットの中心 c i とのユークリッド ノ

終了した．

ルム r を引数とするガウス関数 φ(r) を出力する（式3.5 印象ベクト ルの獲得
印象ベクトルと物理特徴ベクトルの正準相関分析により，両者の写像が得られたため，新たな演奏が入力された場合でも，物理特徴ベクトルから印象ベクトルを求めることが可能となった．図 6 は，存在感につい

(1) ）
．



φ (r) = exp −r2
σ2

r = ||x (k) − ci ||σ = 0 , r >=0(1)

Vol. 45

No. 3

705

演奏者の振舞いを統計的に学習するジャムセッションシステム

図 7 振舞いのモデルを学習する RBF ネットワーク
Fig. 7 RBF Network for learning player’s reaction model.
(k)

ネットワークの出力 ỹj

はそれに重み aj (i) を掛け

(k)

ỹj

=

M




aj (i)φ ||x (k) − c i ||グラムシュミット法を使用すると P を直交ベクト
ル W，上三角行列 B に分解することができる．

．
加え合わせたものである（ 式 (2) ）P = WB



(2)

i=1

(4)

ここで，W = [w 1 , w 2 , . . . , w N ] とすると，w i は，とす

P に おけ る第 i 直交成分であり，その寄与分は ，(w Ti y j )2 /(w Ti w i ) で表される．寄与分が最大の w i
を 1 つ選択し ，残りの直交成分について再度グラム

るとネットワークの入出力関係は次式で与えられる．

シュミット法を繰り返すことにより，出力に対して寄

入力ベクトル x(k)から任意の M 個をユニットの中(k)

心の候補 c i として選択し，モデル化誤差を ej

y j = P(x )a j + e j
ただし，



(1)

p1
(2)
p1
.
.
.
(N)
p1




P(x ) = 

(k)

pi



= φ ||x




yj =


(k)

(1)

yj

(2)
yj

.
.
.

(3)

(1)

p2
(2)
p2
.
.
.
(N)
p2



···
···

···

(1)

pM
(2)
pM
.
.
.
(N)
pM

4.2 重みの学習
誤差‖e j‖を最小化するような a j を最小 2 乗法で推定する．式 (3) より 2 乗誤差は以下で与えられる．






||e j ||2 = ||y j − P(x )a j ||2−c i ||(k = 1, 2, . . . , N, i = 1, 2, . . . , M)







 , aj = 



(N)

yj

aj (1)aj (2).
.
.
aj (M) , ej = 



(1)

ej

(2)
ej

.
.
.






(N)

ej

4.1 ユニット の配置(k)

入力ベクトル x (k) から出力 yjへの寄与の大きいものを M 個求め，ユニットの中心 c i として選択す
(k)

(k)

(k)

る．ユニットの配置は，y1 ，y2 ，y3

与の大きいユニットが選択される．

それぞれについて行う．このような処理を行うと，同じ入力デー= (y j ，y j ) − 2 y j P(x )a j
+ (P(x )a j ，P(x )a j )
(5)

これを a j の各成分で偏微分すると，

1 ∂||e j ||2= −P(x )T y j + P(x )T P(x )a j
2 ∂a j=0(6)
したがって，a j の推定値は式 (7) で与えられる．

a j = P(x )T P(x )−1

P(x )T y j(7)

5. 演奏生成部

タが複数含まれる場合に，重みが一意に定まらないと演奏生成部は，あらかじめ意図空間上に配置してあいう問題を回避できるだけでなく，計算時間の短縮おる演奏パターンから，仮想演奏者の意図ベクトルによび汎化性の向上にもつながる．しかし，寄与の大き合ったものを選択して出力する部分である．意図空間

いもの M 個を一度に求める方法はないため，本研究は，演奏パターンの主観的な類似度評価に基づき構成

では，グラムシュミットの直交化法を用いて，寄与分した空間である．すなわち，ある演奏パターンは意図が最大のものを 1 個ずつ選択する操作を M 回繰り返

空間上の 1 点と対応し，似ていると感じられる演奏パ

すことにより，ユニットの中心の選択を行った9) ．

ターンは相互に近接し，そうでない演奏パターンは相互に離れるように配置した空間である．このような空706

情報処理学会論文誌

間を用いることにより，仮想演奏者の意図ベクトルにあまり変化がない場合には，似通った演奏を出力し続Mar. 2004

意図空間の次元数は 3 次元とした．

5.4 正準相関分析

けることができるし，また仮想演奏者の意図ベクトル

正準相関分析を用いて，意図ベクトルと出力演奏のに一致した演奏パターンがデータベース上にない場合

物理特徴ベクトルとの相関を求めた．用いた物理量はでも，その意図ベクトルに近い演奏を出力することが3.3 節のものと同様である．分析の結果，正準相関のできる．本研究では，このような意図空間を構成する

値が 0.88 となった．これにより，意図ベクトルからために一対比較法，および多次元尺度法（ MDS ）を出力演奏の物理特徴ベクトルへの写像およびその逆写用いる．そして，各出力演奏パターンの意図ベクトル

像が得られる．逆写像は，陽に求められ，演奏者の振とその物理特徴ベクトルとの写像は正準相関分析を用る舞いのモデルを学習するときと，新たな演奏パター

いて求める．

ンをデータベース上に加えるときに用いる．

5.1 演奏パターンの生成
演奏パターンは，演奏者の演奏を MIDI 録音したも5.5 出力演奏の生成
出力演奏は，データベースにある 100 個の演奏パのから，8 小節の長さを上限として切り出して作成しターンから選択されたものを切れ目なくつなげ合わせ

た．ソロのような演奏をしている区間では，演奏的にることにより生成される．仮想演奏者は，前の演奏パまとまったフレーズとなるように，長さを調整して切ターンの終わりになると，コード 進行の制約を満たしり取った．一方，伴奏のような演奏をしている区間でた演奏パターンの中から意図ベクトルに最も近いもの

は，1 コーラス内のあらゆる小節の頭から，区切りのを次の演奏パターンとして選択する．データベースに

よい位置までを切り取った．

ある演奏パターンの半数はソロ演奏であり，仮想演奏

5.2 一対比較実験
被験者（ 3.1 節の被験者と同一人物）に，77 個の演者はどの小節からでも自分の意図に近いソロ演奏を開奏パターンからランダ ムに選んだ 2 つの演奏パター

なお，演奏パターンの数が有限であることから，RBF「似ていない」，2：「少し似ていない」，
ンについて 1：

ネットワークの出力する意図ベクトルと，実際に出力3：「少し似ている」，4：「似ている」の 4 段階で評定させた．77 個のパターンの内訳は，1 コーラスのすべての小節から始めるソロのようなパターンを 5 種類ずする演奏パターンの意図ベクトルとは厳密には一致しない．そこで，両者の距離を求め，RBF ネットワー

つ計 60 個（ 12 小節 × 5 種類），A，E，D，それぞれた演奏に反映されているかを調べた．3 軸の意図ベ始することができる．

クの出力する意図ベクトルが，どれだけ実際に出力されのコードでの伴奏のようなパターンを 5 種類ずつ計

クトルのうち 1 成分について演奏中の両者の距離を求

15 個（ 3 コード × 5 種類），2 種類のターンアラウン
ドである．評定の際，被験者には，あらかじめすべて

めた結果，平均 0.27 であった．これは，演奏中の意の演奏パターンを聴かせ，どのような演奏があるかをし十分小さい値である．

把握させておいた．

5.3 多次元尺度法
Kruskal の多次元尺度法10) を用いて，一対比較実験により得られた類似度行列から意図空間を構成し図ベクトルの変化の標準偏差が 7.91 であったのに対6. 実 験 結 果
演奏者を 模倣するセッションシ ステ ム Guitarist
Simulator を計算機（ Pentium III 650 MHz，Win-た．多次元尺度法は，演奏パターン j と演奏パターン

dows98 ）上に実装した．図 8 は，システムの出力画

k の類似度を δjk ，多次元空間での距離を djk としたとき，類似度の高い演奏フレーズほど距離が近くなる面である．画面は，横に 3 つのパネルが並んでおり，各パネルは 1 人の演奏者に対応している．パネルの一ように多次元空間内の点の位置を決定する手法である

番上にあるラジオボタン（選択ボタン ）は，そのパネ（ 式 (8) ）．

ルを仮想演奏者が使用するか，人間の演奏者が使用すδjk > δlm ならば djk <
(8)
= dlm
このとき，式 (8) が成立しない度合いは，ストレス値 S で表される．意図空間は次元数とストレス値 S のるかを切り替えるためにある．そして，ラジオボタンの下には，各パネル 2 つずつ立方体が描かれている．

両方が小さくなることが望ましい．そこで，1 次元かそれを取り囲む 4 つの台形が立方体の上下左右の面でら 5 次元の各次元数におけるストレス値を計算した．

ある．上の立方体は印象空間を表し，その中にある球

その結果，1，2 次元ではストレス値が高かったが，3の位置が，印象ベクトルを表している．下の立方体は，次元以降では，ストレ ス値が十分小さくなったため，意図空間を表し，その中にある球の位置が，意図ベク

中央の薄い色の正方形が立方体の一番奥にある面で，Vol. 45

No. 3

演奏者の振舞いを統計的に学習するジャムセッションシステム

707

録から学習したもので，仮想演奏者 A は人間の演奏
者 A の振舞いのモデルを持ち，仮想演奏者 B は人間の演奏者 C の振舞いのモデルを持つ．したがって，仮想演奏者 B が人間の演奏者 C のモデルを獲得できていれば，仮想演奏者 B と人間の演奏者 C はセッショ
ン中に同じような意図を持った演奏をしようとすると考えられる．
実験に参加したすべての人間の演奏者は，大学の音楽サークルの部員と OB で，5 年以上のバンド 経験を持つ．また，被験者にはシステムに関する説明はいっさいしていない．3 人の演奏者の演奏は，それぞれ別々
図 8 Guitarist Simulator の出力画面
Fig. 8 Screen snapshot of Guitarist Simulator.

のスピーカから出力されており，誰がどの演奏を弾いたか分かるようになっている．人間の演奏者の音は生のギターの音を直接出力し，2 人の仮想演奏者はそれトルを表している．

ぞれ異なるギターの音色を MIDI 音源から出力した．

6.1 振舞いのモデルの学習
3 人の人間が，テンポ 120 のメトロノームの音にあ

演奏者 B とは，ソロに入るタイミングが一致したり，わせて行ったセッションの MIDI 演奏記録 12 コーラ

類似したフレーズを演奏したりする傾向があった．12

セッションを行った結果，人間の演奏者 C と仮想ス分を用いて演奏者の振舞いのモデルの学習を行った．

コーラス分の演奏の各時刻における人間の演奏者の意

その際，RBF ネットワークの入力次元数 L，ユニッ

図ベクトルと仮想演奏者の意図ベクトルとの距離を合

ト数 M，式 (1) の σ のそれぞれを適切に設定しない計し，その平均値を比較したところ，人間の演奏者 Cとモデル化誤差が大きくなり，汎化能力が低下する可と仮想演奏者 A では，平均 9.33 と離れていたが，演能性がある．そこで，L，M，σ をそれぞれ変化させ奏者 C と仮想演奏者 B では，平均 3.56 と近かった．

モデル化誤差を計算した．その結果，L が 36 次元（ 3以上より，仮想演奏者が人間の演奏者の振舞いをよく

人 × 4 小節 × 3 次元），72 次元（ 3 人 × 8 小節 × 3

模倣できていることが確認された．参考までに，特に次元），108 次元（ 3 人 × 12 小節 × 3 次元）の場合

類似していると感じられた部分 4 コーラスでの 3 者のにはモデル化誤差が小さかったが，144 次元（ 3 人 ×

演奏意図の変化を，図 9 に例示する．

16 小節 × 3 次元）以上ではモデル化誤差が大きかっ
た．L の次元数は大きいほど ，過去の履歴をより反映した感想を求めたところ，すべてのギタリストが各仮した演奏ができるため，L は 108 次元とした．L を想演奏者の振舞いの違いに気がついた．その中で，自108 次元とし，M を 1 から 200 まで 1 刻み，σ を 0.5
から 70 まで 0.5 刻みで，それぞれ変化させ，モデル

分自身を模倣した仮想演奏者とジャムセッションした

化誤差が最も少なくなるパラメータを求めたところ，

似をしているようで演奏しにくいとの意見であった．

M = 46，σ = 23.5 が最適な値として求まった．他のサンプルデータについても，同様のパラメータの値でさらに，5 人のギタリストにシステムとセッション

演奏者は 2 人いたが，ともに，仮想演奏者が自分の真

7. ま と め

重みを計算できたため，演奏者の振舞いの学習を行う

本論文では，人間の演奏者の振舞いを模倣した仮想

際には，つねにこの値を用いることにした．1 回の学演奏者と人間の演奏者がインタラクションできるよう

習は，ユニットの配置および重みの学習のみで済み，なジャムセッションシステムについて述べた．本研究

所要時間は 5 秒以内である．システムを用いて人間のの主な意義は次の 5 点である．

演奏者がセッションを行うごとに，新たな演奏者の振舞いのモデルが獲得できた．

6.2 システムの評価• 統計的学習によりジャムセッションの演奏記録から演奏者モデルの獲得を実現した点．
• 心理実験の結果を用いて，印象空間と意図空間を仮想演奏者 A，B と人間の演奏者 C でセッション

構成し，振舞いのモデルの学習を可能とした点．

を行い，仮想演奏者が人間の演奏者を模倣できている• 演奏の物理特徴量と，その演奏から得られる印象かを評価した．ここで，仮想演奏者 A，B は，人間のや意図を正準相関分析で関連づけるとともに，重演奏者 A，B，C の 3 人で行った同じセッションの記

要な物理特徴量の選択を行った点．

708

Mar. 2004

情報処理学会論文誌

図 9 3 人の演奏者の意図ベクトルの変化（ 3 軸の意図ベクトルのうち 1 成分のみを表示）
Fig. 9 Transition of intention vectors of three players.

• 印象空間から意図空間への非線形関数を RBF ネッ
トワークを用いて学習した点．
• 実際にリアルタイムで動作するシステムを実装し，実験により仮想演奏者が人間の演奏者の振舞いを模倣できていることを確認した点．
今後の課題として，第 1 に，学習アルゴ リズムの改良があげられる．本システムでは，仮想演奏者の振舞いのモデルを過去 12 小節の印象ベクトルの履歴を用いて学習したため，セッション全体の展開や流れを把握した演奏は実現できていない．ジャズの曲などのように，コーラス数が決まっていたり，テーマを決めて演奏するような場合には，各演奏者がどのコーラス
でどんな演奏をしたいかなど ，今回扱ったものより，
もっと大局的な演奏意図を考慮していく必要がある．
今後，そのような大局的な演奏意図を扱うための手法について検討するとともに，大局的に見た時系列の変化も考慮にいれた学習アルゴ リズムについて検討していく予定である．
第 2 の課題として，その他の個性の模倣があげられる．たとえば，本研究では，ある演奏とそれから受ける印象との関係は全演奏者で共通であると仮定して，1 人の被験者の実験結果に基づいて印象ベクトルを算出している．この関係が演奏者によって異なるかを調査し ，必要に応じて個性としてモデル化することは，今後の課題である．また，本研究では演奏の印象や意図のレベルでの演奏の入出力関係は，一緒に演奏する演奏者の違いに依存しないと仮定して振舞いのモデルを求めたが，演奏者間の相互作用など ，演奏者の違いに依存する部分の個性のモデル化についても今後検討していく．他にも，グルーブ感と呼ばれるような演奏の心地よい揺らぎや，フレーズ，音色にも個性が表れると考えられる．今回は振舞いのモデル化に焦点を当てたが，今後，より詳細かつ総合的な個性の模倣に取り組んでいきたい．

謝辞 演奏者として実験に協力していただいた，齊
田康公氏，千田真一氏，橋本大輔氏に感謝いたします．

参 考

文

献

1) 青野裕司，片寄晴弘，井口征士：バンドライクな音楽アシスタントシステムについて，情報処理学会
研究報告，94-MUS-8, Vol.94, No.103, pp.45–50(1994).
2) 青野裕司，片寄晴弘，井口征士：アコースティッ
ク楽器を用いたセッションシステムの開発，電子情報通信学会論文誌 D-II，Vol.J82-D-II, No.11,
pp.1847–1856 (1999).
3) 和気早苗，加藤博一，才脇直樹，井口征士：テン
ションパラメータを用いた協調型演奏システム—
JASPER，情報処理学会論文誌，Vol.35, No.7,
pp.1469–1481 (1994).
4) 近藤欣也，片寄晴弘，井口征士：音楽情報から奏者の意図を理解する伴奏システム JASPER++，
情報処理学会第 46 回全国大会，1-373, 7Q-8
(1993).
5) 後藤真孝，日高伊佐夫，松本英明，黒田洋介，村岡洋一：仮想ジャズセッションシステム：VirJa
Session，情 報 処理 学 会論 文誌 ，Vol.40, No.4,
pp.1910–1921 (1999).
6) 日高伊佐夫，後藤真孝，村岡洋一：すべてのプレーヤーが対等なジャズセッションシステム II，
ベーシストとド ラマーの実現，情報処理学会研究報告，96-MUS-14, Vol.96, No.19, pp.29–36(1996).
7) Nishijima, M. and Kijima, Y.: Learning on
Sense of Rhythm with a Neural Network—The
NEURO DRUMMER, Proc. ICMPC, pp.78–80(1989).
8) Nishijima, M. and Watanabe, K.: Interactive music composer based on neural networks,
Proc. ICMC, pp.53–56 (1992).
9) Chen, S., Cowan, C.F.N. and Great, P.M.:
Orthogonal Least Sequares Learning Algorithm for Radial Basis Function Networks,

Vol. 45

No. 3

演奏者の振舞いを統計的に学習するジャムセッションシステム

IEEE Trans. Neural Networks, Vol.4, pp.246–
257 (1991).
10) Kruskal, J.B. and Wish, M.: Multidimensional
Scaling, Sage Publications (1978).
(平成 15 年 7 月 9 日受付)
(平成 16 年 1 月 6 日採録)

709

麻生 英樹

1981 年東京大学工学部計数工学
科数理工学コース卒業．1983 年同大学大学院工学系研究科情報工学専
攻修士課程修了．同年電子技術総合研究所に入所．1993 年〜1994 年ドイツ国立情報処理研究センター（ GMD ）客員研究員．

浜中 雅俊（ 正会員）

1998 年日本大学理工学部精密機械工学科卒業．2003 年筑波大学大学院工学研究科電子・情報工学専攻

現在，独立行政法人産業技術総合研究所情報処理研究
部門主任研究員．知的学習システムに関する研究に従事．電子情報通信学会，人工知能学会，行動計量学会，
日本神経回路学会各会員．

博士課程修了．現在，日本学術振興会特別研究員 PD，独立行政法人産大津 展之（ 正会員）

業技術総合研究所客員研究員として音楽情報処理の研1969 年東京大学工学部計数工学

究に従事．博士（工学）．2001 年情報処理学会山下記科卒業．1971 年同大学大学院数理念研究賞，2001 年 SCI（ 5th World Multiconference

工学専攻修士課程修了．同年電子技

on Systemics，Cybernetics and Informatics ）in Art
優秀論文賞，2003 年筑波大学大学院優秀論文賞（ 博

術総合研究所入所．以来，パターン

士課程長賞）各受賞．

認識，画像処理，多変量データ解析，
人工知能に関する数理的研究に従事．工学博士．数理情報研究室長，首席研究官，知能情報部長を経て，現後藤 真孝（ 正会員）

在．産業技術総合研究所フェロー．筑波大学連携大学

1993 年早稲田大学理工学部電子通院教授，東京大学大学院情報理工学研究科教授を併任．

信学科卒業．1998 年同大学大学院理工学研究科博士後期課程修了．同年，
電子技術総合研究所（ 2001 年に独立行政法人産業技術総合研究所に改組）に入所し，現在に至る．2000 年から 2003 年まで科学技術振興事業団さきがけ研究 21「情報と知」領域研究員を兼任．博士（ 工学）．音楽情報処理，音声言語
情報処理等に興味を持つ．1992 年 jus 設立 10 周年記
念 UNIX 国際シンポジウム論文賞，1993 年 NICO-

GRAPH’93 CG 教育シンポジウム最優秀賞，1997 年
情報処理学会山下記念研究賞（音楽情報科学研究会），

1999 年平成 10 年電気関係学会関西支部連合大会奨励賞，2000 年 WISS2000 論文賞・発表賞，2001 年日本
音響学会第 18 回粟屋潔学術奨励賞・第 5 回ポスター賞，2002 年情報処理学会山下記念研究賞（ 音声言語
情報処理研究会），2002 年日本音楽知覚認知学会研究選奨，2003 年インタラクション 2003 ベストペーパー賞各受賞．電子情報通信学会，日本音響学会，日本ソフトウェア科学会，日本音楽知覚認知学会，ISCA 各
会員．

電子情報通信学会，日本行動計量学会等各会員．