情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2D-64
2020/3/9

メロディスロットマシン
浜中雅俊†1
概要：本稿では，仮想演奏者の未来の演奏のコントロールを可能とするインタラクティブな音楽システム「メロディスロットマシン」について述べる．従来のセッションシステムなどにおける仮想演奏者は，人間による入力演奏に対して仮想演奏者がどのような出力演奏を生成するかに焦点があてられており，出力演奏を直接コントロールすることは困難であった．これに対しメロディスロットマシンでは，ユーザがダイヤルを回すことで，仮想演奏者が次に演奏するメロディを選択することを可能とする．また，演奏者の姿をペッパーゴーストディスプレイに投影し，仮想演奏者が目の前にいるように感じることを可能とする．

イヤル上のメロディ断片がランダムに選択さる．メロディ

1. はじめに断片のバリエーションは，GTTM[1]に基づいて構成されて過去 15 年に渡り音楽理論 GTTM (Generative Theory ofいるため，断片をどのように切り替えても，装飾的な音符Tonal Music)に基づいたメロディ操作の研究を行ってきたのみが変化しメロディの全体的な構造は維持されるため音[1-4]．最終目的は，GTTM を援用し，人間のように作曲や楽的な破綻は生じない．

演奏をすることが可能な仮想ミュージシャンを実現するこ(2) 操作結果の視覚的理解とである．これを達成するには多くの課題があるが，現在メロディの変化に気が付けない可能性もあるため，ダイの技術で可能なシステム「メロディスロットマシン」を構

ヤル型インタフェースを操作した結果を，聴覚的にだけで築し，今後の研究開発の方向性を探究する．メロディスロ

なく視覚的にも確認できるようペッパーゴーストディスプ

ットマシンは，仮想演奏者の未来の演奏をユーザが操作すレイに仮想演奏者を表示するようにした（図 2）．

ることを可能とする．その特長は以下の 3 つである．
(1) ユーザフレンドリなインタフェース

使 用した ペッパーゴー スト ディスプレイ （Realfiction
Dreamoc HD3）は 3 方向から見ることができるタイプであ仮想演奏者が演奏するメロディはあらかじめ用意したメったため，3 方向の背景が黒色のスタジオで 3 つのカメラロディ断片をつなげ合わせることで生成する．そのメロデを用いて各方向の映像を撮影し，撮影されたデータの時系

ィ断片の一部を別の断片に置き換えることができるダイヤ

列を合わせてペッパーゴーストディスプレイ用に合成した．

ル型インタフェースを構築し，ユーザが演奏を容易にコン

複数の演奏者を表示するためには，それぞれ別々に撮影しトロール可能にした（図 1）．

た後に合成する．

ユーザは，楽譜を印刷したアクリル板の一部に開けた長方形の穴から，裏に置いたタブレットの上に表示されたダイヤルインタフェースを操作できる．楽譜の右側にある赤(a)マリンバ正面(b)マリンバ右から(c)ボーカルとサックス正面(d)ボーカルとサックス右からいレバーを引き下げると，すべてのダイヤルが回転し，ダ図 2

ペッパーゴーストディスプレイ

(3) 音楽的な臨場感
音楽的にも高い臨場感で提供できるよう，演奏音はレコーディングを行った．本稿での臨場感とは，あたかも本当に目の前に演奏者がいるかのように自然に感じられることを呼ぶ．レコーディングには，残響音がほとんどないスタジオを使用した．録音されたメロディは断片に分割されるため，残響音があるスタジオでは，前の断片の残響のみが図 1

スロットダイヤルとレバー後ろの断片の先頭に入ってしまうことがあるためである．

†1 理化学研究所© 2020 Information Processing Society of Japan716

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2D-64
2020/3/9

残響は，仮想演奏者の演奏が出力する段階でプラグインをされた音符を縦スクロールするピアノロール形式で LED用いて付加した．

表示することで，即興演奏の支援を可能としていた．即興臨場感を高める工夫として，ディスプレイの周りに，前演奏中に初心者は，次にどの音を弾くべきか迷う場合があと左右の方向ごとに 3 組のスピーカを設置した（図 3）．そるが，天板に示された鍵盤を弾くことで，GTTM に基づくして，サウンドエンジニアが方向ごとにパンポットとリバ安定度の高いメロディを弾くことが可能となる．メロディーブの設定を，目の前の（ペッパーゴーストディスプレイ

予測システムでは，鍵盤に慣れている人を対象としていた上）の演奏者から演奏音が聴こえているように感じられるのに対し，メロディスロットマシンでは，ダイヤル型のイよう調整した．ユーザの頭を 2 組のスピーカの間に入れるンタフェースを採用し，寄り多くの人を対象とすることをと，音楽的にも映像的にも最も臨場感が高まる．

目指した．
メロディモーフィング手法[14,15]は，GTTM による楽曲構造分析の結果求まるタイムスパン木を用いてメロディの操作を可能とした．しかし，タイムスパン木の自動分析精度[2-4，13-15]は低いため，モーフィング操作の自動化は実現していない．そこで本研究では，GTTM 分析が可能な 3人の音楽家が，メロディモーフィング法を使用してメロディ生成を行った．
モーツァルトによる「音楽のさいころ遊び」は，サイコロの出目に応じてあらかじめ作曲してあるメロディ断片を順番に結合していくことで曲が完成する[16]．メロディを切り替えるという点で，メロディスロットマシンは音楽のさいころ遊びのアイディアに触発されていると言える．ただし，音楽のさいころ遊びとメロディスロットマシンのメ

図 3

方向ごとのスピーカ

2. 関連研究

ロディ作成方法は大きく異なっている．さいころ遊びでは，どのような順序で結合していっても自然なメロディとなるように非常に精緻に設計されている．一方で，メロディモ

Band-out-of-the-Box は，即興演奏する演奏者とコンピューフィング手法は GTTM の分析の結果として求まるタイータ上の仮想演奏者との音楽的なインタラクションを可能

ムスパン木を使用しているため，メロディを切り替えた場とした[5]．Virtual Musical Multi-Agent System [6]およびソフ合でも，基本的な構造は同じであり，装飾音のみが変更さ

トウェア環境 OMax Brothers[7]は，マルチエージェントアれる．

ーキテクチャに基づく仮想演奏者による即興演奏を可能とした．Continuator[8]は，演奏スタイルをリアルタイムで学

3. メロディモーフィング手法習するためにマルコフモデルを拡張し，ユーザと仮想演奏

本節では，メロディ A と B を入力し， A と B それぞれ者がユーザのスタイルでインタラクションすることを可能の特徴を反映させる度合いを変化することで，メロディ Aとした．Guitarist Simulator は，実在する人間の演奏者からと B の間にある複数個のメロディ C をある尺度のもとで振舞いのモデルを統計的に学習した仮想演奏者とのジャム順序付けて生成するメロディモーフィング手法について述

セッションを可能とした[9]．これらのシステム[5-9]の出力

べる．このとき，メロディ A, B, C は以下の条件を満たすもは演奏音のみであり，仮想演奏者の視覚的な表示はなされのとする．ていなかった．

1. A と B より A と C のほうが類似している，かつ， Aと B より B と C のほうが類似している．
2. B が A と同じ場合， C も A となる．
3. A と B それぞれの特徴を反映させる度合いを変化させることで，C が複数出力される．
4. A と B がいずれもモノフォニー（和音を含まない単旋律）の場合， C もモノフォニーとなる．
条件 1 と 2 は，メロディモーフィングに限らず，画像等のモーフィングにも一般にあてはまる条件である．一方，条件 3 と 4 は，メロディモーフィングの条件として我々が新たに考えたものである．
タイムスパン木は GTTM による楽曲構造分析の結果求VirJa Session では，仮想演奏者を視覚的にも確認可能として点が優れていたが，コンピュータグラフィックによって視覚化されたのは，リズムに合わせた足踏みや，身体の揺れなど比較的単純なものであった．これに対しメロディ
スロットマシンでは，ビデオカメラで撮影した演奏者の映像を使用することで臨場感を高めることを狙っている．
メロディ要約システム[11]，演奏レンダリングシステム[12]，およびメロディ予測システム[13]は，GTTM 分析の結果求まるタイムスパン木を使用したものである．たとえば，
メロディ予測システムは，ピアノの天板にシステムが予測© 2020 Information Processing Society of Japan717

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2D-64
2020/3/9

図 5まったものである．GTTM は，グルーピング構造分析，拍節構造分析，タイムスパン簡約，プロロンゲーション簡約という 4 つのサブ理論から構成されており，楽譜に分析を加えることで，楽譜に内在する様々な階層構造を深層構造として顕在化させる．タイムスパン簡約は，あるメロディを簡約化することによって，そのメロディの装飾的な部分

メロディの簡約TC ⊑ TB ⊑ TAmeet（最大下界）は，TA，TB の共通部分のタイムスパン木TA ⊓ TB である． join（最小上界）は，メロディ A, B のタイムスパン木 TA，TB が矛盾を起こさない限り統合したタイムスパン木 TA ⊔ TB である（図 6）．

が削ぎ落とされ，本質的なメロディが抽出されるという直観を表したもので，構造的に重要な音が幹になるような 2分木（タイムスパン木）を求める分析である（図 4）．

TA

プロロンゲーション木TBTATA ⊓ TBTA ⊔ TB

図 6

タイムスパン木TBmeet ⊓と join ⊔の例

3.3 GTTM に基づくメロディモーフィング手法モーフィングという用語は，通常，二つの画像がある場拍節構造合に，片方の画像からもう一つの画像へ滑らかに変化してグルーピング構造いくよう，その間を補うための画像を作成することをいう．
図 4グルーピング構造，拍節構造，タイムスパン木，プ2 次元の顔画像のモーフィングの場合，たとえば以下のよ

ロロンゲーション木

うな操作で中間的な画像の生成が実現できる．

3.1 メロディの簡約

1） 目や鼻など 2 つの画像の特徴点の対応づけ（図 7a）．

図 5 は，タイムスパン木を用いたメロディの簡約の例である．図のメロディ A の上にある木構造は，メロディ A を2）各画像の形状（位置）や色の重み付け．
3）2 つの画像の重ね合わせ．

タイムスパン簡約した結果得られたタイムスパン木である．

一方，本研究で提案するメロディモーフィングでは，以タイムスパン木のレベル B より下にある枝の音符を簡約下のような操作で中間的なメロディの生成を実現する．

（省略）するとメロディ B のようになる．さらに，レベル1)C より下にある枝の音符を簡約するとメロディ C のように

2) 各メロディについてメロディの部分簡約．

なる．このとき，メロディ B はメロディ A と C の間のメ

3) 両方のメロディの重ね合わせ．

ロディであることから，メロディの簡約もメロディのモー(1) メロディの共通部分の対応づけフィングの一種と考えることができる．

2 つのメロディ A, B のタイムスパン木 TA, TB を求め，その共

3.2 タイムスパン木に基づく基本演算

通部分（最大下界）TA ⊓ TB を求める．これにより，タイムスメロディのモーフィングを実現するため，文献[10-13]で定義

パン木 TA, TB は，それぞれ共通部分と非共通部分に分けるこされている演算である，包摂関係⊑，meet (最大下界) ⊓ と joinとができる．

(最小上界) ⊔を用いる．包摂関係⊑は，F1 を下位の構造，F2を上位の構造（下位の構造を含んでそれ以上の構造を持つ）

2 つのメロディの共通部分の対応づけ（図 7b）．

(a)(b)としたとき，F1 ⊑ F2 と表記し，F2 は F1 を包摂すると言う．
たとえば，図 5 のメロディ A，B，C のタイムスパン木（簡約されたタイムスパン木），TA，TB，TC の包摂関係は，以下のように表せる．

簡約レベルC
簡約レベルBb

メロディA & b b cb
メロディB & b b cb
メロディC & b b c

3ÏÏ nÏ Ï Ï Ï Ï Ï Ï Ï3ÏÏ nÏ Ï Ï Ï Ï Ï ÏnÏÏÏÏÏnÏÏ ÏnÏÏ Ï Ï.

Ï ÏÏ

ÏÏÏÏÏ
6

ÏÏ
6ÏÏÏ Ï ÏÏÏÏÏÏÏ Ï ÏÏÏnÏ bÏ Ï Ï ÏnÏ bÏ Ï Ï ÏÏÏ© 2020 Information Processing Society of JapanÏÏ Ï Ï nÏÏ Ï Ï nÏÏÏ図 72 つの画像/メロディの対応づけの例

TA ⊓ TB は，タイムスパン木 TA, TB をトップダウンに見て，最も大きく共通する部分を取り出すが，その際，オクターブの異なる 2 音（たとえば C4 と C3）を異なる音とみなす場合と，同じ音とみなす場合で結果が異なる．異なる音とみなす
場合には，C4⊓C3 の解は空疎⊥となる．一方，同じ音とみな718

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2D-64
2020/3/9

す場合には，オクターブの情報が捨象され解は C となる．オ

タイムスパン木を取得する．第二の作業では，3.2 節(2)のクターブ情報が未定義の場合，（2）以降の処理が困難となるメロディの部分簡約において音符を抽象化する順序を決定ことから，オクターブの異なる 2 音は，異なる音として扱うする．第一と第二の作業の後， [N1, N2]のようになってことにした．

いる箇所で，どちらかを選択していくことで，モーフィン(2) メロディの部分簡約グメロディは自動的に取得可能である．しかし，この方法（1）で求めたメロディ A と B のタイムスパン木 TA, TBの非共通部分には，それぞれ相手のメロディにはない特徴が表われていると考えられる．したがって，メロディのモーフィングを実現するためには，それら非共通部分の特徴をなめらかに増減させ，中間的なメロディを生成するような手法が必要となる．
本研究では 3.1 で述べたメロディの簡約を応用し，メロディの非共通部分についてのみ簡約を実行するメロディ部分簡約法を提案する．メロディ部分簡約法では，メロディ A のタイムスパン木 TA と，メロディ A, B のタイムスパン木の共通部分 TA⊓ TB から，次のアルゴリズムでメロディ Cm（m=1,2,…,n）を生成する．Cm の添え字 m は，Cm に含まれるが，TA ⊓ TB には含まれない部分（メロディの非共通部分）に表われる音符の数である．
図 8 の場合では，TA には，TA ⊓ TB にはない音符が 9 個含まれているため，TA と TA ⊓ TB の間のメロディが 8 種類得でメロディをモーフィングすると，メロディのバリエーシられることになる．
上記のようにして求めたメロディ C は，メロディ B にはョンごとの変化が極めて少なくなることがある．そこで，メロディの変化が少なかった場合，第三の作業として，音楽家が手動でメロディの調整を行う．調整の詳細について
は 5 節で説明する．

4. 実装
ペッパーゴーストディスプレイ
（Realfiction Dremoc HD3）は，半透過フィルムの貼られた 3 枚のガラスがデバイス上部に下向きに設置したディスプレイの映像を反射することで，ペッパーズゴーストにより 3 つの方向で異なる映像を表示することが可能である．
ユーザは，タブレット（iPad Pro 12.9）上に表示されたスロットダイヤルと譜面台に取り付けられたスロットレバーを操作する．タブレットとメインのコンピュータ（AppleMac mini 2018）は，MIDI インタフェースを介して通信しないメロディ A のみが持つ特徴の一部を減衰させたものと考えることができる．同様に，TB と TA ⊓ TB から下記を満ている．どのメロディを再生するかを決定するスロットダ

たすメロディ D を生成する．

タに送信される．逆に，コンピュータは現在の再生位置をTA ⊓ TB

TD

タブレットに通知し,TB

な るス イ ッ チ で あり ，ス イッ チ の 接 続 状 態 は マイ コン
TD（a）Linking the common information of melodies

TC
Melody C

LA （b）Melody division
reduction（c）Combining
two melodies

Melody DTD

4.1 音楽音響処理
ムの貼られたガラスが 45 度の角度で設置されているため，TD

Melody A（iConnectMIDI4 +）を介してコンピュータに送られる．
使用したペッパーゴーストディスプレイは半透過フィル

TBTC（Arduino）を使用して検出する．検出した結果は，Arduinoに 接 続 し た MIDI シ ー ル ド と MIDI イ ン タ フ ェ ー スLBTA

再生位置がタブレット上に表示される．スロットレバーはレバーを倒している時だけ ON にTA TB

TC

イヤルのダイヤル番号は，随時タブレットからコンピュー

Melody B

水平な高さから視た場合が最も臨場感が高く感じられるよ
うになっている．逆に，上方や下方から見た場合には，ペッパーズゴーストによる映像であることがわかってしまい

Melody Eやすい．そこで，方向ごと水平となる高さにスピーカ対を設置して，ユーザが自然にスピーカの間に頭を入れて聴く

図 8

メロディモーフィング手法(3) メロディの合成
メロディ A と B のそれぞれのタイムスパン木の一部を簡ことで，ペッパーゴーストディスプレイに対して適切な位置で視聴できるようにした．
システムは，開発環境 Max/MSP 上に構築した．サウンド

約したメロディ C とメロディ D を統合（最小上界）し，合成したメロディＥを生成する．
(4) 音楽家による調整

ファイルは全バリエーションを同時に再生するが，選択さメロディモーフィング手法は自動化を目指しているが，ョンは音量を 0 とする．その際，メロディが切り替わる 10現時点では音楽家による作業なしでは実現できない．5 節

ミリセカンド前から 10 ミリセカンド後までに，フェードの実験では，音楽家は以下の 3 つの作業を行う．第一の作

インおよびフェードアウトを入れることで滑らかに連結さ業では,GTTM に基づきメロディの構造分析を行い適切なれるようにした．これにより，ユーザがタブレットでダイ© 2020 Information Processing Society of Japan

れたスロットの番号に対応したバリエーションの音量だけを上げるようにした．つまり，選択されてないバリエーシ719

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2D-64
2020/3/9

ヤルを設定すると，指定したメロディが順次出力される．

c）1 つの音符を同じ音程の 2 つの音符に時系列方向の分割

4.2 映像処理d）メロディの拡大あるいは縮小

映像処理では，ユーザが設定したスロット番号に従ってe）メロディの引用映像を再生する．
(1) 映像ファイルの同時再生

メロディ 1 および 2 のすべての音符はモーフィング手法

音楽音響の処理と同じように，すべてのバリエーションにより生成された．これは， 1 も 2 も，テーマと変奏曲のファイルを同時再生して HDMI に出力される映像を切りNo.1 の共通部分(meet)と，情報が近く，メロディの合成（join）替えることを試みたが，映像ファイルのサイズはオーディの結果，[N1, N2]のような演算子が付いている音符からどオに比べて巨大で不可能であった．

ちらかを選ぶだけでメロディが完成したためである．また，(2) 映像断片の再生

部分簡約により適度に音符数が減った 2 つのメロディを合映像を断片に分割し，スロット番号に対応した映像ファイルを次々再生することを試みたが，API などが提供され成して生成されたメロディ 5 の全ての音符もモーフィング手法により生成された．ている多くの映像再生エンジンではファイルを開き再生をテーマに近い，モーフィングメロディ 1，2，3 では平均開始するまでに 0.5 秒以上の時間がかかるという問題が生1.5％の音符が音楽家により追加されたのに対し，変奏曲じた．この場合，映像の再生開始が予定される 0.5 秒前にNo.1 に近いモーフィングメロディ 8，9 では，音楽家によファイルを開き，映像ストリームの再生を準備する必要がり 37.9％の音符が追加された．これは，8 分音符の多いメあるが，その 0.5 秒の間にもユーザはスロットを操作する

ロディと 16 分音符の多いメロディを合成した結果として可能性があり，次に再生されるスロットの番号が変化すれ不自然なメロディとなった場合に，調整が必要であったた

ば，タブレット上に表示された内容と，実際の演奏音に食めである．
表1

い違うという問題が生じた．そこで映像再生エンジンを新たに構築し 0.5 秒以内に処理が終わるようにした．

各メロディの音符数

総音符数(3) 補完映像の挟み込み処理
メロディ断片に対応する映像を接続して再生すると，映手法により生音楽家が追成された音符

加した音符数数

像と映像の境界で，演奏者の動きがつながらなくなってしテーマ

82--

まう．そこで，前の映像の終わり 10 フレームと，後の映像

メロディ 15151 (100%)0 (0%)の開始 10 フレームを削除し，そこに 20 フレームの補完映メロディ 25151 (100%)0 (0%)

メロディ 39390 (96.8%)

3 (3.2%)

メロディ 4121

96 (79.3%)

25 (20.7%)

メロディ 594

94 (100%)

0 (0%)

メロディ 6157

129 (82.2%)

28 (17.8%)

メロディ 7176

157 (89.2)

19 (10.8%)

メロディ 8253

164 (64.8%)

89 (35.1%)

2 名は GTTM 分析の経験は 2 年である．上記 3 名は分析結メロディ 9267

159 (59.6%)

108 (40.4%)

果のクロスチェックを行っており，ほぼ同等の能力である

変奏曲 No. 1

271--像を挟み込む．補完映像は，2 つの映像が滑らかにつながるようにあらかじめ深層学習により生成したものである．

5. 実験結果
3 名の音楽家にモーフィングメロディの作成を依頼した．
1 名の音楽家は，GTTM 分析について 10 年以上の経験があり，モーフィング手法についても深い理解がある．残りのことを確認している．モーフィングの元となるメロディの長さや曲名は指定せず，音楽家が自身で考え制作を行った．

5.2 モーツァルト ホルン協奏曲第 1 番およびポンキエッ

5.1 モーツァルト

リ 歌劇「ラ・ジョコンダ」時の踊り

きらきら星変奏曲 K. 265/300e

10 年以上の GTTM 分析の経験を持つ音楽家 A は，モー音楽家 B は，ホルン協奏曲と時の踊りのモーフィングメ

きらきら星変奏曲 K. 265/300e のテーマと変奏ロディを作成した．ホルン協奏曲，時の踊りおよび 9 通り

曲 No. 1 をモーフィング元のメロディとして， 9 個のモー生成したモーフィングメロディのうち 4 つについて，生成フィングメロディを作成した．

された曲を再度分析した．そして，分析の結果得られたタツァルト

表 1 は，総音符数，モーフィング手法で生成された音符

イムスパン木を用いてモーフィングメロディ M がモーフ数，音楽家により追加された音符数を示している．音楽家

ィング元の２つのメロディの中間に位置するかを確認した．

により追加された音符は以下のいずれかであった．

R(A,B)を曲 A と B との類似度とすると，M が中間に位置すa) 倚音，刺繍音，経過音の追加ると次式が成立する．
R ( A, M )  R ( A, B ) and R ( A, M )  R ( B , M ), orb) タイムスパン木で隣接する枝からの借用音もしくは枝内の音順変更© 2020 Information Processing Society of JapanR( B, M )  R( A, B) and R( B, M )  R( A, M ),(1)720

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2D-64
2020/3/9

類似度は平田ら[11]が提案した次式を用いた．

RN  X ,Y  の助成を受けたものです.

meet( X ,Y ) N ,ma x X N,Y N

(2)



この式は，meet により 2 つのメロディからどれだけ情報が減少したかを示す． |X|N は X に含まれる音符数を表す．
ホルン協奏曲，時の踊り，および 9 個のモーフィングメ
ロディについて確認したところ，すべての組み合わせで式（1）が成立した．これにより，3 節冒頭で述べた条件 1「Aと B より A と C のほうが類似している，かつ， A と B より B と C のほうが類似している」が成立していることが確認できた．
5.3 リスト ラ・カンパネラ
音楽家 C は，5 個のモーフィングメロディ(M1, M2, M4,M5, M6)をリストのラ・カンパネラから生成した．音楽家 Cのモーフィング手法の使い方は，A と B とは異なり，M3がラ・カンパネラがとなるよう残りの 5 つのメロディを構成した．すなわち，M1 から M6 の間には以下のような包摂関係が成立する．
M1 ⊑ M2 ⊑ M3 ⊑ M4 ⊑ M5 ⊑ M6(3)式(6)の包摂関係がすべての枝（音符）について成立することが確認できた．

6. おわりに
本稿では，メロディスロットマシンの構築について説明
した．概要映像は以下に公開している．
https://www.youtube.com/watch?v=DE8j6DtAU5g
本研究の貢献は以下の 5 点である．
1.

スロットダイヤルやレバーなど，誰でも簡単に操作できるインタフェースにより，ユーザが仮想演奏者の未来の演奏をコントロール可能なシステムを開発した．

2.

従来の仮想演奏者は，音の出力のみであるか，コンピュータグラフィックによる表示であったのに対し，仮想演奏者をペッパーゴーストディスプレイに表示し,臨場感の高い音楽システムを構築した．

3.

メロディモーフィング手法はこれまで作曲に使用されたことはなかったのに対し，本研究では 3 名の音楽家がメロディモーフィング手法使用して制作を行った．

4.

2 つのメロディの類似度 RN（X, Y）に基づいてモーフィングメロディを評価した．A と B からモーフィング
メロディ C を生成した場合に，A と C の類似度は A とB の類似度より高く，B と C の類似度は A と B の類似度より高いことを確認した．
今後，メロディスロットマシンのコンテンツを充実していく予定である．また，GTTM を使用してあたかも人間のように作曲や演奏ができる仮想ミュージシャンの実現を目指していく．

参考文献[1] Fred Lerdahl and Ray S. Jackendoff, 1983. A Generative Theory ofTonal Music, MIT Press, Cambridge, Massachusetts, USA.
[2] Masatoshi Hamanaka, Keiji Hirata, and Satoshi Tojo. 2006.
Implementing “A generative theory of tonal music,” Journal of NewMusicResearch35(4),249–277.
DOI:
10.1080/09298210701563238[3] Masatoshi Hamanaka, Keiji Hirata, and Satoshi Tojo. 2016. σGTTM
III: Learning-Based Time-Span Tree Generator Based on PCFG,
Lecture Notes in Computer Science, Vol. 9617, pp. 387–404. DOI:
10.1007/978-3-319-46282-0_25[4] Masatoshi Hamanaka, Keiji Hirata, and Satoshi Tojo. 2018.
deepGTTM-III: Multi-task Learning with Grouping and Metrical
Structures, Lecture Notes in Computer Science, Vol. 11265, pp.
238–251. DOI: 10.1007/978-3-030-01692-0_17[5] Belinda Thom, 2003. Interactive Improvisational MusicCompanionship: A User-Modeling Approach, The User Modelingand User-Adapted Interaction Journal, Special Issue on UserModeling and Intelligent Agents, 13(1): 133–177.
[6] Rodolfo Daniel Wulfhorst, Lauro Nakayama, and Rosa Maria Vicari,
2003. A Multiagent Approach for Musical Interactive Systems, In
AAMAS ’03: Proceedings of the second international joint
conference on autonomous agents and multiagent systems, pp. 584–591. DOI: 10.1145/860575.860669[7] Gérard Assayag, Georges Bloch, Marc Chemillier, Arshia Cont, andShlomo Dubnov, 2006. OMax brothers: a Dynamic Topology ofAgents for Improvization Learning, In AMCMM ’06: Proceedingsof the 1st ACM workshop on audio and music computing
multimedia, pp. 125–132. DOI: 10.1145/1178723.1178742[8] Francois Pachet, 2003. The Continuator: Musical Interaction withStyle, Journal of New Music Research, 32(3): 333–341.
[9] Masatoshi Hamanaka, Masataka Goto, Hideki Asoh, and Nobuyuki
Otsu, 2003. A Learning-Based Jam Session System that Imitates aPlayer’s Personality Model, In Proceedings of the International Joint
Conference on Artificial Intelligence (IJCAI2003), vol. 18, pp. 51–58.
[10] Masataka Goto, Isao Hidaka, Hideaki Matsumoto, Yosuke Kuroda,
and Yoichi Muraoka, 1996. A Jazz Session System for Interplay
among All Players – VirJa Session (Virtual Jazz Session System), In
Proceedings of the 1996 International Computer Music Conference(ICMC1996), pp. 346–349.
[11] Keiji Hirata and Shu Matsuda, 2003. Interactive Music
Summarization based on Generative Theory of Tonal Music, Journalof New Music Research, 32(2): 165–177.
[12] Keiji Hirata and Rumi Hiraga, 2003. Ha-Hi-Hun plays Chopin’sEtude. In Working Notes of IJCAI-03 Workshop on methods forautomatic music performance and their applications in a public
rendering contest, 2 pages.
[13] Masatoshi Hamanaka, Keiji Hirata, and Satoshi Tojo, 2008. Melody
Expectation Method Based on GTTM and TPS, In Proceedings ofthe 9th International Conference on Music Information Retrieval
conference (ISMIR2008), pp. 107–112.
[14] Masatoshi Hamanaka, Keiji Hirata, and Satoshi Tojo, 2008. Melody
Morphing Method Based on GTTM, In Proceedings of the 2008
International Computer Music Conference (ICMC2008), pp. 155–158.
[15] Masatoshi Hamanaka, Keiji Hirata, and Satoshi Tojo, 2009. Melody
extrapolation in GTTM approach, In Proceedings of the 2008
International Computer Music Conference (ICMC2009), pp. 89–92.
[16] Stephen A. Hedges, 1978. Dice Music in the Eighteenth Century,
Music & Letters, 59(2): 180-187.

謝辞 本研究の一部は，JSPS 科研費 17H01847, 16H01744© 2020 Information Processing Society of Japan721