特集

工学と芸術を融合す
る若い息吹

個 性 を 模 倣した
仮想演奏者の実現

7
浜中 雅俊
m.hamanaka@aist.go.jp
科学技術振興機構

さきがけ研究員

音楽情報処理の研究分野の最終的な目標の1つは，実在間の判断の代行等があるが，そのようなシステムでは客する音楽家のように動作する仮想演奏者を計算機上で実観性が求められるため，感性や個性などの主観的な要因現することである．そのような仮想演奏者を可能とするは排除されてきた ．

1）

ためには，作曲・編曲能力や，即興演奏中にテンポやコー一方，感性工学の分野では，これまで，感覚器でのセド進行などを予測する能力など，さまざまな音楽的能力ンシングから心理的認知的現象としてのイメージまでを計算機上で実現していく必要がある．このように，工の過程の工学的モデル化が進められており，その過程に学的手法を用いて人間のさまざまな能力を計算機上で実おける個別性について検討されてきた．そこでの主な目現しようとする試みは，その成果の実応用が期待される的は，人間と計算機とのよりよいインタフェースを実現ばかりでなく，人間の仕組みを解明していく上でも重要するために，計算機上に人工感性を構築することである．

である．

実用化されたものとしては，類似検索や形容詞（印象語）

本稿では，筆者が研究遂行中の，計算機上に仮想演奏者を実現する試みについて紹介する．

2）

検索による商品検索システム等がある ．しかし，そこで扱われた個別性とは，商品の物理的特徴と検索空間とのマッピングの個人差のみであった．

人工個性とはあたかも実在する人間のような個性を持った計算機システムを構築するためには，人工知能や人工感性を実

人間の能力の計算機上での実現は，まず，人工知能の現するだけでなく，各人の固有の癖をなんらかの形で獲研究分野で試みられた．そこでの目的は，あたかも人間得し，それを用いて人工的に個性を再現する必要がある．のように認識や判断などをする計算機システムの実現で

表-1に人工知能と人工感性，人工個性のそれぞれの対ある．実際に実用化されたものには，パターン認識によ象，目的，用途について筆者の考えをまとめる．

る人間の知覚の代行や，エキスパートシステムによる人領域

対象

目的

実用化用途

人工知能
知能 知覚，判断，思考，学習，記憶などの過程の パターン認識（artificial intelligence） （知識） 計算機上での実現
エキスパートシステム
人工感性（artificial Kansei）

感性

人間と計算機とのよりよいインタフェースの実 印象語による商品検索
現
デザイン支援システム

人工個性（artificial personality）

個性

各人の固有の癖の獲得とその計算機上での再 仮想音楽家
現
仮想デザイナー
表-1

374

47巻4号

情報処理 2006年4月

人工知能と人工感性，人工個性

7

個性を模倣した 仮 想 演
奏 者の実 現

入力演奏（全演奏者の演奏）

音楽分野における人工個性
人工個性の技術の最終的な目標は，実在する音楽家の個性を模倣した仮想音楽家を実現したり，工業デザイ

演奏者の振る舞いの個性
演奏者固有のフレーズの個性
発音時刻ゆらぎの個性

ナーの個性を模倣した仮想デザイナーを実現することである．もしそれが実現すれば，獲得した個性をネットワー

図 -1 演奏者の 3 種類の個性

出力演奏（次の自分の演奏）

ク上で配信しユーザがそれを利用することが可能となる．
また，専門家が作品や製品を「創造」し，ユーザがそれを「鑑賞・使用」するという従来の枠組みに対して，ユーザが制作に「参加」するという新たな枠組みの提供が可能となる．たとえば，著名な作曲家の個性を持った仮想作

Guitarist Simulator：個性を模倣するジャムセッションシステム

曲家を生成し，自分の好みの曲を作曲させることや，ある演奏家の個性を持った仮想演奏者を生成し，それと共演奏者の個性にはさまざまな側面があるが，たとえば演することも可能となる．また，音楽の知識や技能を持ジャムセッションでは，相手の演奏に対してどのようなたない一般のユーザは，自分の好みの仮想演奏者を集め演奏で反応するかに演奏者の個性が表れる．人間の演奏て演奏させることで，あたかもバンドオーナーのような者は自分がソロを弾いているときに，相手が同時にソロ立場で気軽に演奏を楽しむことができるようになる．こを弾き出したら，次の小節からソロをあきらめたり，逆のような研究は音楽初心者に音楽を楽しませるアミューにもっと激しいソロを弾いたりする．そのような個性ズメント性を持つだけでなく，プロの演奏家にとっても，をここでは，演奏者の振る舞いと呼ぶ．演奏者の振る舞

音楽制作の生産性を上げる技術の1つとして期待がもたいを実在する人間の演奏者から獲得することができれば，れる．具体的には，ギターしか弾けない演奏者は，ギター

仮想演奏者はあたかもその演奏者のように，相手の演奏以外のパートを，さまざまな個性を持った仮想演奏者にを聴きそれに対してソロや伴奏でインタラクションする演奏させることにより，バラエティに富んだ曲を短時間ことが可能となる．また，ジャムセッションではグルーで制作できるようになる．

ブ感と呼ばれるような演奏の心地よいゆらぎや，フレー筆者は，上記のようなさまざまな効果が期待されていズや音自体にも個性が表れる．演奏者が実際にどのようる音楽分野における人工個性に着目し，音楽分野におけなフレーズを弾くかは，演奏者固有のフレーズによってる人工個性実現の第一歩として，ジャムセッションにお決まる．すべての演奏者は，手癖と呼ばれるような自分3）ける演奏者の個性を扱ってきた ．ジャムセッションとの得意とするフレーズをいくつも持っている．そのようは，コード進行など最小限の約束ごとのみを決め，順次なフレーズを獲得することができれば，仮想演奏者は模ソロパートを自由に交代しながら進めていく即興演奏で倣したい演奏者のフレーズで演奏することができる．実あり，その特徴は，演奏者に固定した主従関係が存在せ際に演奏を出力する際には，演奏の発音時刻にゆらぎがず，すべての演奏者が対等な立場でインタラクションで生じる．このようなゆらぎにも演奏者の個性が反映されきる点である．したがって，ある演奏者の演奏がそこでている．発音時刻ゆらぎの個性を獲得することができれ演奏している演奏者全員に影響を与え，他の演奏者の新ば，あたかも模倣したい演奏者のように発音時刻にゆらたな演奏として返ってくるというインタラクションが頻ぎのある演奏を生成することができる．

繁に起こる．そして，そこでのインタラクションの仕方

以上述べてきた，演奏者の3つの個性は図-1のようなは，演奏者の個性によって大きく異なる．
このようなジャ関係にあると考えられる．Guitarist Simulatorは，調はA ，ムセッションにおける個性のモデル化をまず実現していテンポは120で固定，コード進行は12小節単位で繰り返くことで，今後，作曲や編曲をはじめとするさまざまなす循環コードという条件でギタリスト3人がジャムセッ

人間の音楽的活動を総合的に行うことのできる仮想演奏

ションした5分間のMIDI演奏記録から，これら3種類の者の実現を目指している．

個性の学習を可能とした．MIDIとはMusical Instrument
Digital Interface の略で，電子楽器の演奏情報を送受信するための共通の規格である．
IPSJ Magazine Vol.47 No.4 Apr. 2006

375

特集

工学と芸術を融合す
る若い息吹

過去
演奏者
Ａ

演奏者
Ｂ

演奏者
Ｃ

現在

求めようとすると，膨大な量のデータセットが必要とな時間り，限られた長さの演奏記録からモデルを獲得すること過去の演奏が困難である．なぜなら，実際のセッションの演奏では，
演
奏者
Ｂの振る舞
い

過去の演奏

MIDIデータのレベルで同じ演奏が再現される確率はきわめて低く，さまざまな入力に対応するためには，膨大次の演奏な量のMIDI入出力データの組が必要となってしまうた
めである．

過去の演奏

そこで，印象空間，意図空間という入力と出力を一段

図 -2 演奏者の振る舞い抽象化した空間を導入し，演奏者の振る舞いのモデルを印象空間上の印象ベクトルから意図空間上の意図ベクトルへの関数として学習することを可能にした．仮想演奏
者は，振る舞いのモデルを学習する学習モードとそのモ✣ 演奏者の振る舞いの模倣デルを用いて実際にジャムセッションする演奏モードの演奏者の振る舞いとは，全演奏者の過去の演奏から，2種類の動作がある（図-3）．

次に自分がどのような演奏をするかを決める過程である✣ 演奏者固有のフレーズの模倣（図-2）．したがって，演奏の入出力関係を統計的に学習することができれば，演奏者の振る舞いをモデル化す

仮想演奏者は，振る舞いのモデルに基づき意図ベクトることが可能である．

ルを算出し，フレーズデータベースの中からその意図ベ

しかし，この入出力関係の学習は，たとえばソロが交

クトルに対応したフレーズを次々と接続することで演奏互にくるようなタイプの演奏の場合と比べて問題が難を生成する．図-4は演奏モードにおける仮想演奏者のしい．なぜなら，ジャムセッションの場合固定した主従動作を表したものである．

関係が存在しないため，演奏中いつでも誰でも自由にソ演奏者固有のフレーズの模倣を実現するためには，フロに入ることが可能で，どの相手のどの演奏と自分の次レーズモデルすなわち，演奏者ごとのフレーズデータの演奏が対応しているかを求めるのが難しいためである．

ベースをMIDI演奏記録から自動生成する必要がある．そまた，入出力関係をMIDIデータなどから，直接統計的にの際，一連のMIDI演奏記録からどのようにしてフレーズ印象算出部

物理特徴空間(100次元)

意図決定部

印象空間(3次元)

演奏者
Ａ

演奏者の振る舞いのモデル

正準相関分析

主成分分析
物理特徴空間(663552次元）印象語(10次元)

qqq

12

隠れ層

意図ベクトル

過去 小節の印象ベクトル

入力

演奏者
Ｂ

演奏者
Ｃ

演奏生成部

意図空間(3次元) 物理特徴空間(50次元)
出力演奏生成...
正準相関分析
類似度（77個） 物理特徴空間(663552次元)

RBFネットワーク

心理実験 （一対比較）

特徴抽出：学習モード

心理実験 （印象語評価）
特徴抽出
MIDI演奏記録(12コーラス)

図 -3

376

仮想演奏者の構成

47巻4号

情報処理 2006年4月：演奏モードフレーズデータベース

7

個性を模倣した 仮 想 演
奏 者の実 現の切れ目を見つけて切り出しを行うかが問題となる．フ

仮想演奏者

レーズの分割手法として我々はこれまで，2種類の手法フレーズモデルを提案してきた．
1つ 目 の 手 法 は ボ ロ ノ イ 線 図 を 用 い た も の で あ る（図-5）．これは，ピアノロールと呼ばれる縦軸をピッチ，発音時刻ゆらぎの除去

振る舞いモデル意図ベクトル

横軸を時間とした楽譜上にボロノイ線図を描き，面積の小さい領域を近くの領域に再帰的に結合させていくことにより階層的なフレーズ構造を獲得するものである．こフレーズの切り出し

MIDI演奏記録

ゆらぎモデル[時間]の手法はどんな曲でも分割が可能な反面，音楽的根拠に発音時刻ゆらぎの付加

乏しく曲によっては適当でない位置で分割される場合がフレーズの接続あった．
2つ目の手法は，音楽理論GTTM (Generative Theory of

出力演奏4）[時間]

Tonal Music) に基づく手法である．GTTMは，20年以上前に考えられた音楽の構造を分析するための理論である

図 -4

フレーズデータベースによる出力演奏の生成

図 -5

ボロノイ線図に基づくフレーズ分割

図 -6

GTTM に基づく音楽構造分析が，これまで計算機上への実装ができていなかった．我々は，GTTMに基づく音楽分析システムATTA (AutomaticTime-span Tree Analyzer) を計算機上へ実装し，GTTM
5）に基づくフレーズ分割を可能とした（図-6） ．ATTAは
現在http://staff.aist.go.jp/m.hamanaka/atta/ にて，インターネット上に公開している．ただし，現在扱えるのは単音旋律のみで，和音を含むギター演奏のフレーズ分割を実現するためには，今後の改良が必要である．

✣ 発音時刻ゆらぎの模倣
演奏者が同じ演奏を繰り返し弾いた場合でも，MIDIのレベルでまったく同じ演奏となることは稀であり，演奏の表情づけや演奏動作の微妙な差などにより発音時刻がゆらぐ．我々は，そのような発音時刻ゆらぎを隠れマルコフモデルを用いてモデル化し，個性による発音時刻ゆらぎの違いを隠れマルコフモデルのモデルパラメータの形で獲得することを可能とした（図-7）．
隠れマルコフモデルのモデルパラメータを教師なしで学習する手法としては，Balm-Welchアルゴリズムという手法があるが，5分間のMIDI演奏記録では学習データのサンプル数が不足してうまくパラメータを推定できない．そこで，Balm-Welchアルゴリズムによるパラメータの推定と，ヘルドアウト補完法によるパラメータの補完を交互に繰り返すことによって，限られた長さの演奏
6）データからモデルパラメータの推定を可能とした ．

✣ 音楽版チューリングテストの実施
以上述べてきたようなGuitarist Simulatorを用いて5人のギタリストに，人間1人と仮想演奏者2人の組合せでジャムセッションを実施したところ，仮想演奏者は1人
IPSJ Magazine Vol.47 No.4 Apr. 2006

377

特集

工学と芸術を融合する若い息吹

EaS 1

拍内の位置の状態遷移⑫S

a1 4①②a10 E

a4 10③④⑤⑥⑦⑧⑨⑩⑪E

S

⑫①②

人間
A

人間B

人間
C

振る舞いモデル A

振る舞いモデル B

振る舞いモデル C

フレーズモデル A

フレーズモデル B
ゆらぎモデル B

フレーズモデル C
ゆらぎモデル C③

各状態での出力確率

b1(k)
b4(k)
b7(k)

ゆらぎモデルA

仮想 1AA
A

仮想 2
B
AA

b10(k)
0120

240

360

480
[k]

イベント時刻
[時間]

拍の頭

図 -7

仮想 3ABA

仮想 4AA
B

拍の頭仮想 24
BA
C

隠れマルコフモデルによる発音時刻ゆらぎのモデル化

図 -8

図 -9

仮想 25
BCA

仮想 26CAB

仮想 27
CB
A

27 種類の仮想演奏者の生成

評定結果と模倣した演奏者が一致した割合1人個性的であるとの意見が多かった．特に，自分自身た．そして，仮想演奏者がA ，B ，Cのうち誰の個性をを模倣した仮想演奏者とジャムセッションしたギタリス模倣しているか，評価させた（図-8）．

トは，仮想演奏者が自分の真似をしているようで演奏しにくいと感じた者が多かった．

図-9はその結果をまとめたもので，3種類の個性モデルを同じ演奏者から模倣した場合には，100％の割合で音楽システムの評価の方法については従来からさまざ模倣元の演奏者を正しく評定できていた．一方，どれかまな議論がなされているが，絶対的な評価の枠組みは1つでも他の演奏者の個性を用いている場合には正しくまだ確立されていない．ここでは，チューリングテスト評定されている割合が減っていた．このことは，獲得しからヒントを得た心理実験を行った．チューリングテスた3つの個性モデルがいずれも必要であったことを表し

トでは，相手が人間であるか機械であるかを判断するが，ている．

今回は仮想演奏者がどの演奏者の個性を模倣しているかを判断する．
実験ではまず，同じバンドでの演奏経験がありお互個性の違いを聴き分けるためのインタ
フェース Sound Scope Headphone

いに相手の演奏の個性をよく知っている3人の演奏者
A ，B ，CのMIDI演奏記録からそれぞれの振る舞いモデル，

Guitarist Simulatorは，ギタリスト向けのシステムでフレーズモデル，ゆらぎモデルを獲得する．次に獲得しあるが，現在，演奏初心者でも楽しめるように拡張を行ったモデルを組み合わせて27種類の仮想演奏者を生成している．そこで問題となるのは，初心者が複数のパート

378

47巻4号

情報処理 2006年4月

7

個性を模倣した 仮 想 演
奏 者の実 現の演奏を聴き分ける能力である．たとえ，複数の仮想演奏者がそれぞれ人間の演奏者の音楽的な個性を獲得していたとしても，ユーザがそれを聴き分けることができな

電子コンパス
傾斜センサ

ければ，個性の違いを感じることは困難である．
複数パートを聴き分けるためには，パートごとに複数トラックに録音された音源を用意して，音楽用ミキサーで各パートのボリュームや定位（左右の音量比）を調節すればよい．しかし，市販の音楽用ミキサーは操作が煩雑で初心者が直感的に扱うことは困難であった．そこで，音楽初心者でも複数パートの聴き分けが容易となるよう，距離センサ（赤外線測距センサ）

直感的な操作で各パートのミキシングが変更できるヘッドフォンSound Scope Headphoneを制作した．

図 -10

Sound Scope Headphone

Sound Scope Headphoneの特長は，頭を上下左右に振ったり，手を耳に近づけて耳を澄ませるようなポーズをするなど，人間が音を聴くときに自然に行う動作を，ヘッドフォンに搭載した電子コンパス，傾斜センサ，距離センサの3種類のセンサで検出することで音楽ミキ各パートの配置サーのコントロールを可能にした点である（図-10）．

✣ 電子コンパスによる顔の方向の検出

アバタ（正面を向いている状態）

通常ヘッドフォンでCDなどの曲を聴く場合，右側から聴こえている音は，右を向いてもやはり右側から聴こえることになる．一方，Sound Scope Headphoneでは，ヘッドフォンのアーク部に取り付けてある電子コンパスを用いてユーザが向いている方向を検出し，右を向けば

図 -11パートを配置する GUI

右から聴こえていた音が正面から聴こえるようにしている．同様に，左を向けば左から聴こえていた音が正面から聴こえるようにしている．ユーザは首を左右に動かすという自然な動作により，聴きたいパートを探し，そのパートが正面から聴こえるようにすることができる．

✣ 傾斜センサによる頭の上下動の検出✣ 距離センサによる耳に手をかざす動作の検出
耳に手をかざして正面から聴こえる音や声を注聴するような動作を，ヘッドフォンのスピーカ部に取り付けた距離センサで検出する．そして，距離センサと手の距離首を左右に振り，聴きたいパートを正面から聴こえるによって，聴こえるパートの範囲を設定している．耳にように操作しても，まだ正面に複数のパートがあり，目手を近づけると，真正面から聴こえるパートの音のみが的とするパートが聴きとりにくい場合には，今度は頭を聴こえるようになり，離すと真後ろ以外すべての音が聴上下に動かすことにより，ミキシングを変更することがこえるようになる．また，その中間の場合には，前半分できる．ヘッドフォンのアーク部に取り付けた傾斜センから聴こえる音のみが聴こえるようになる．

サで頭の上下動を検出し，上を向けばより遠くに配置し

図-12は，図-11のように各パートを配置し正面を向たパートの音量を大きくし，下を向けば近くに配置した

いているときに手を耳から遠ざけた時と近づけたときのパートの音量を大きくしている．このとき，各パートのミキサー画面の変化を示したものである．縦に並んだス

配置は図-11のようなGUI (Graphical User Interface) をクロールバーがミキシング時の増幅率を表し，スクロー用いて手動で変更することができる．中心にある円が聴

ルバーのつまみが高い位置にあるほど，増幅率が高い者のアバタの位置と頭部の方向を表し，その周囲にあることを表す．手を耳から遠ざけた時（a）には，正面にあ丸数字が各パートの配置を表している．

る6番のパートの増幅率が一番高く，後ろ方向のパート
IPSJ Magazine Vol.47 No.4 Apr. 2006

379

特集

工学と芸術を融合す
る若い息吹

なだらかな山型

トランペットってこんな音色なんだ(a)耳から手を遠ざけたときとがった山型(b)耳に手を近づけたとき

図 -12

図 -13

ライトによる視覚的効果を付加した Sound Scope Headphone

距離センサの操作による増幅率の変化になるにつれてなだらかに増幅率が減少する．一方，手あるが，今後，その制約を1つずつ外していくことによを耳に近づけると（b），その距離に応じて増幅率が減少

り，人間の音楽的活動を総合的に行うことのできる仮想する．このとき正面のパートの増幅率の減少よりも，後演奏者の実現を目指していく．今後システムと演奏者モ

ろ方向のパートの増幅率の減少のほうが大きくなるため，デルを収めた個性データベースを公開し多くのユーザに正面の音が相対的に大きな音で聴こえるようになり，あ試用してもらい，システムを使って演奏した人のモデル

たかも正面のパートにフォーカスしたように聴くことがをデータベースに登録できるようにして，さまざまな演できる．

奏者モデルを収集できるようにしていく予定である．そ✣ 音楽教育などへの利用
図-13は，パートの個数分の譜面台に楽器の絵を載せ，各パートの音量に応じてライトの明るさを変化させるようにしたものである．このようにすると，聴者が耳を澄ませるポーズをして，ある特定のパートを聴いている場合，その楽器がライトで明るく照らされ，視覚的にも鳴っている楽器が確認できる．Sound Scope Headphoneは，元々演奏の個性の違いを聴き分けるために制作したものであるが，このような視覚的な効果を付加することによって，あたかも指揮者のように各パートの音量を積極的にコントロールして楽しむエンタテインメントとして使うこともできる．また，楽器の音色に親しみのない子供たちに対しては，楽しみながら楽器と音色との対応関係を覚える音楽教育などへも利用できる．

今後の展望
現状のGuitarist Simulatorは，調やコード進行，テンポが固定であるなどある一定の制約下で動作するもので

380

47巻4号

情報処理 2006年4月

して近い将来，演奏者の個性モデルがテキストや音楽，画像，動画，音声など，さまざまなコンテンツと同じようにネットワーク上で配信され，一般のユーザがそれを利用できるようにしていきたい．
参考文献
1) 大津展之 : パターン認識における特徴抽出に関する数理的研究, 電子技術総合研究所研究報告, No.818, pp.177-180 (1981).
2) 栗田多喜夫, 加藤俊一, 福田郁美, 板倉あゆみ : 印象語による絵画データ
ベースの検索, 情報処理学会論文誌, Vol.33, No.11, pp.1373-1383 (Nov.
1992).
3) Hamanaka, M., Goto, M., Asoh, H. and Otsu, N. : A Learning-Based Jam
Session System that Imitates a Player's Personality Model, Proceedingsof the 2003 International Joint Conference on Artificial Intelligence(IJCAI2003), pp.51-58 (2003).
4) Lerdahl, F. and Jackendoff, R. : A Generative Theory of Tonal Music, MITPress, Cambridge, Massachusetts (1983).
5) 浜中雅俊, 平田圭二, 東条 敏 : GTTMグルーピング構造分析の実装 :ルールを制御するパラメータの導入, 情報処理学会 音楽情報科学研究会 研究報告 2004-MUS-55-1, Vol.2004, No.41, pp.1-8 (2004).
6) Hamanaka, M., Goto, M., Asoh, H. and Otsu, N. : A Learning-Based
Quantization: Unsupervised Estimation of the Model Parameters,
Proceedings of the 2003 International Computer Music Conference(ICMC2003), pp.369-372 (2003).
（平成18年2月8日受付）