情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2020-MUS-127 No.9
Vol.2020-SLP-132 No.9
2020/6/7

インタラクション可能な仮想演奏者
浜中雅俊 1
概要：仮想演奏者の演奏を操作する体験ができる、メロディスロットマシンについて述べる。

Interactive Virtual Performer
MASATOSHI HAMANAKA†1
Abstract: We developed an virtual performer called the "Melody Slot Machine, " which provides an experience of manipulatinga music performance.

1. はじめに

図 5 は，タイムスパン木を用いたメロディの簡約の例である．図のメロディ A の上にある木構造は，メロディ A

本稿では，インタラクティブな音楽システム，メロディをタイムスパン簡約した結果得られたタイムスパン木であスロットマシンについて紹介する[1,2]．メロディスロットる．タイムスパン木のレベル B より下にある枝の音符を簡マシンは，複数のバリエーションのメロディがセグメント約（省略）するとメロディ B のようになる．さらに，レベに分割されていて、そのセグメントがダイヤル型のユーザ

ル C より下にある枝の音符を簡約するとメロディ C のよインタフェースに表示されている．そして，そのダイヤルうになる．このとき，メロディ B はメロディ A と C の間を回転させることでホログラフィックディスプレイに表示のメロディであることから，メロディの簡約もメロディのされた仮想演奏者が未来に演奏するメロディを選択するこモーフィングの一種と考えることができる．とができる（図 1）．メロディのバリエーションは，Lerdahlと Jackendoff に よ り 提 案 さ れ た 音 楽 構 造 解 析 GTTM

簡約レベルC(Generative Theory of Tonal Music)に基づいて構成されているため，メロディセグメントを切り替えても，メロディの全体的な構造が保持され曲が破綻することはない[3]．
我々は，これまで 15 年にわたり GTTM に基づく音楽構
造分析器の構築を行ってきた[4-6]。GTTM は，理論自体のあいまいさに加え，音楽の解釈があいまいさが含まれると簡約レベルBb

メロディA & b b c

3Ï nÏ Ï Ï Ï Ï Ï Ï ÏÏÏÏÏÏ nÏÏÏÏ ÏnÏ63bÏ Ï Ï.
メロディB & b b cÏÏÏÏ nÏ Ï Ï Ï Ï Ï Ïb
メロディC & b b cいう問題があり，精度の高い分析器を作ることは困難であnÏ

Ï

図 1Ï

ÏÏ

6ÏÏÏ

ÏÏ
Ï ÏÏ

ÏÏÏÏÏ Ï ÏÏÏnÏ bÏ Ï Ï ÏnÏ bÏ Ï Ï ÏÏÏÏÏ Ï Ï nÏÏ Ï Ï nÏÏÏ

メロディの簡約った．近年，深層学習の導入により，分析精度が飛躍的に向上し，分析結果を用いた実用的なアプリケーションの構メロディモーフィングを実現するため，文献[10-13]で定義築が期待されている[7-9]．GTTM の分析の結果獲得されるされている演算である，包摂関係⊑，meet (最大下界) ⊓ と join

タイムスパン木は，メロディ中の構造的に重要な音符と装(最小上界) ⊔を用いる．包摂関係⊑は，F1 を下位の構造，F2 を飾的な音符との関係を示している．したがって，構造的に上位の構造（下位の構造を含んでそれ以上の構造を持つ）と重要な音符を残しながら装飾的な音符を段階的に減少させしたとき，F1 ⊑ F2 と表記し，F2 は F1 を包摂すると言う．たることで，簡約したメロディを抽出することが可能である．

とえば，図１のメロディ A，B，C のタイムスパン木 TA，TB，2 つの入力メロディから中間メロディを生成するメロディ

TC の包摂関係は，以下のように表せる．

モーフィング手法は，この簡約の仕組みを用いたものである[10,11]．

2. メロディモーフィング手法
メロディスロットマシンは，初心者がメロディモーフィング手法で生成されたメロディを切り替える操作を体験できるシステムです。

TC ⊑ TB ⊑ TAmeet（最大下界）は，TA，TB の共通部分のタイムスパン木TA ⊓ TB である． join（最小上界）は，メロディ A, B のタイムスパン木 TA，TB が矛盾を起こさない限り統合したタイムスパン木 TA ⊔ TB である．
モーフィングされたメロディは，以下の３ステップで獲得できる．まず，2 つのメロディ A, B のタイムスパン木 TA,

1 理化学研究所
RIKENⓒ2020 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2020-MUS-127 No.9
Vol.2020-SLP-132 No.9
2020/6/7

TB を求め，その共通部分（最大下界）TA ⊓ TB を求める．これにより，タイムスパン木 TA, TB は，それぞれ共通部分と非共通部分に分けることができる．
次に，メロディの部分簡約手法を用いて，TA ⊓ TB と TA の中間にあるメロディ C を求める．同様に，TA ⊓ TB と TB の中間にあるメロディ D を求める．
最後に，メロディ C と D を統合（最小上界 Tc ⊔ TD）し，モーフィングメロディ E を獲得する．
TA T B

TCTD（a）Linking the common information of melodies

TC
Melody C

LA （b）Melody division
reduction

Melody DTD
LBTA（c）Combining
two melodies

TBTC

TD

Melody A

図 3

スロットダイヤルとレバー

Melody B

Melody E

図 2

メロディモーフィング手法
図 4

3. メロディスロットマシン
誰でも簡単にメロディを操作することを可能とするため，メロディのセグメントの一部を切り替えられるダイヤル型のユーザインタフェースとした（図３）．楽譜を挟んだアクリル板の一部に長方形の穴が開いており，その穴からタブレット上のダイヤル型インターフェースが操作できる．
楽譜の右側にある赤いレバーを下げると，すべてのダイヤルが回転し，ダイヤルのメロディセグメントの 1 つがランダムに選択されます。演技者の様子を視覚的にも聴覚的にも確認できるようホログラフィックディスプレイ（ペッパーゴーストホログラム）を使用して出演者を表示し，臨場感が高まるようにした（図４）．
2 つのメロディセグメント間でビデオを補間するために，セグメントとセグメントの組み合わせに応じて補間ビデオを生成した[15]．これにより、演奏者の映像の不連続性が解消された．なお，より臨場感を高めたいと考えたため、演奏音は全て収録し録音には、残響が非常に少ないスタジオを使用した．残響があった場合には，セグメントに分割する際に，前のセグメントの残響のみが次のセグメントの先頭に入ってしまう．

4. おわりにインタラクティブな仮想演奏者を実現するメロディス
ロットマシンを紹介した．概要映像は以下に公開している．
https://www.youtube.com/watch?v=DE8j6DtAU5gⓒ2020 Information Processing Society of Japan

ペッパーゴーストディスプレイ

参考文献[1] Hamanaka, M. :“Melody Slot Machine: A Controllable Holographic
Virtual Performer”, ACM International Conference on Multimedia(MM’19), 2019, pp. 2468-2477.
[2] Hamanaka, M., Nakatsuka, T., and Morishima. S: “Melody SlotMachine”, ACM Siggraph, 2019, Emerging Technologies ET-245.
[3] Lerdahl, F., and Jackendoff, R. S.: A Generative Theory of Tonal
Music, MIT Press, Cambridge, Massachusetts, USA, 1983.
[4] Hamanaka, M., Hirata, K., and Tojo, S.: Implementing “Agenerative theory of tonal music,” Journal of New Music Research,
2006, 35 (4), 249–277.
[5] Hamanaka, M., Hirata, K., and Tojo, S: “ATTA: Automatic Timespan Tree Analyzer Based on Extended GTTM”, ISMIR, 2005,pp.358-365.
[6] Hamanaka, M., Hirata, K., and Tojo, S: “FATTA: Full AutomaticTime-span Tree Analyzer”, ICMC, 2007, Vol.1, pp.153-156.
[7] Hamanaka, M., Hirata, K., and Tojo, S: “deepGTTM-I: Local
Boundaries Analyzer based on Deep Learning Technique”,
CMMR, 2016, pp.8-20.
[8] Hamanaka, M., Hirata, K., and Tojo, S: “deepGTTM-II: Automatic
Generation of Metrical Structure based on Deep Learning
Technique”, SMC, 2016, pp.221-249.
[9] Hamanaka, M., Hirata, K., and Tojo, S: “deepGTTM-III: Multi-task
Learning with Grouping and Metrical Structures”, Lecture Notes
in Computer Science, 2018, Vol. 11265, pp. 238–251.
[10] Hamanaka, M., Hirata, K., and Tojo, S: “Melody Morphing
Method Based on GTTM”, ICMC, 2008, pp. 155–158.
[11] Hamanaka, M., Hirata, K., and Tojo, S: “Melody extrapolation in
GTTM approach”, ICMC, 2009, pp. 89–92.
[12] Nakatsuka, T., Hamanaka, M., and Morishima, S.: “Audio-guided
Video Interpolation via Human Pose Features”, VISAPP, 2020,Vol.5, pp.27-35, DOI: 10.5220/0008876600270035.

2