情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1D102022/2/21

音源分離技術を用いた、観客からのリクエスト楽曲を即興でリミックスするシステムの制作
小原開†1 長谷川遼†1 西門亮†1 髙梨大†1 徳井直生†2
本研究は、音楽ストリーミングサービスを通して、オンラインライブなどの観客(オーディエンス)からリクエストされた楽曲に対し、ループ音源抽出アルゴリズム[1]を使用、そこから周期性のある 8 拍のループ音源を作成。
作成されたループ音源に対し、深層学習による音源分離モデル[2]を使用する。そこで分離した 4 つの楽器(Bass,Drum,Vocal,Other)ごとの音源から、さらにループ音源を作成するシステムの制作を行った。
これにより、オーディエンスそれぞれからリクエストした複数楽曲を即興で編集、重ね合わせて再生(リミックス)することが可能になった。

1．はじめにが拡張しつつあるが、物理的な場に存在していたパフォー
マーとオーディエンスのインタラクションを欠いてしまう

本研究は、音楽のライブ/ライブストリーミング・パフという欠点がある。そこで、本研究はコロナ禍によって対ォーマンスにおいて、観客(オーディエンス)が親しみを覚

面での交流が難しいオーディエンスの音楽的趣向を、パフえる曲を作成することをテーマに、オーディエンスからリォーマンスなどに反映することで、DJ とオーディエンスのクエストされた楽曲により、その場でリミックスすること相互作用を促すことを目的としている。

を可能にしたシステムである。本システム専用に制作した

また、コロナ禍以前から若者のクラブ離れがささやかれWeb アプリケーションを通して、オーディエンスそれぞていたが、その背景には一般の音楽視聴者にとって、DJ がれが日常聞いている楽曲を、音楽ストリーミングサービスかける聴き覚えのない音楽で楽しむことは、敷居が高いとからリアルタイムに収集する。そして、自動でループ再生いう側面があった。本研究ではオーディエンスが日常的にに適した箇所を抽出するアルゴリズムと、音源を 4 つのパ聞いている音楽をもとに DJ が曲を組み上げることで、クートに分離する機械学習モデルを使用し、ループ音源を作

ラブミュージックを普段聴かない層にとってもそうした音成。同手順で作成された、別の楽曲から抽出したループ音楽への導入として利用できると考えた。

源と重ねて再生することで、それぞれからリクエストされた、複数の楽曲を即興でリミックスし、新しい楽曲を生成することで、その場限りの音楽体験を提案する。

2．研究背景3．先行事例
本項では、本研究に類似したシステムの比較、分析を行う。また、本研究と類似したアプリケーションに関して

新型コロナウイルスによる影響は、DJ の活動を行う者にの調査結果を示す。

とって大きな転換期となった。2021 年 12 月現在、ナイトクラブ(以下、クラブ)やライブハウスを含め音楽を主とし3.1 Unmixer[3]て集う場所では、以前よりもクラブ営業がしやすい状況に

Unmixer と は National Institute of Advanced Industrial

なりつつあるが、未だコロナウイルスの終息の目処が立た

Science and Technology (AIST), Japan の研究者によって開発ない中で、昨今のクラブ現場は運営が非常に厳しくなってされたシステムで、ユーザーが任意の楽曲からループ音源いる。

を抽出し、楽曲をリミックスすることができる web アプリ

そもそもクラブは、オーディエンスが音楽文化を創り出ケーションである。シンプルなインターフェイスで楽曲かす上で非常に重要な場所であるが、このような状況下におら抜き出したループ音源を、自由に組み合わせられるといいて、アーティストがオーディエンスと関わりにくいという点では本研究と関連性が高い。

った実情が、DJ そしてクラブ文化離れへつながってしまその一方で、本研究では音楽ストリーミングサービスをうのではないかと非常に危惧している。昨今ではライブス用いて体験者の好きな曲を自由に利用できるのに対して、トリーミングや仮想空間上でのバーチャルライブを通じ、ユーザーがオーディオファイルを自身で用意しなければ、音楽を介して関わりうるコミュニティのプラットフォームリミックスが行えないという点や、機械学習モデルによる†1 慶應義塾大学†2 慶應義塾大学 政策・メディア研究科 准教授 環境情報学部准教授© 2022 Information Processing Society of Japan171

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

音源分離を用いていない点で本作品と大きく異なっている。

1D10
2022/2/21

Virtual DJ は Atomix Productions が提供している DJ ソフトウェアで、機械学習による音源分離をシステムとして取り入れ、本格的なリミックスを行うことができるソフトウ
ェアである。音源分離のシステムを用いて、リミックスを行うことができる点では本研究と非常に類似している。
その一方で、Unmixer でもあったように音源をユーザが自分で用意する必要がある点やユーザインタフェイスが熟練者向けで操作に熟達を要するため、オーディエンスから楽曲のリクエストを受け付ける本研究のシステムとは、目的が大きく異なる。

図 1 Unmixer の操作画面
3.2 Madeon | Adventure Machine[4]Madeon | Adventure Machine とは、エレクトロニック・ダンス・ミュージックミュージシャンである Madeon のファーストアルバム、Adventure に収録されている音源を、ウェ

図 3 Virtual DJ ミキサー画面

ブ上でリミックスできるウェブアプリケーションだ。
収録されている曲の Vocal、Drum、Bass, Other などのそ以上のアプリケーションを本研究と比較、分析したが、れぞれの音源を選択することでリミックスを行える。しか本研究のように、Spotify API を用いてユーザーが自身でオし、このサービスでは Madeon のファーストアルバム、ーディオファイルを用意することなく曲をリミックスでき

Adventure に収録されている音源でしか、リミックスができる点や、機械学習による音源分離をシステムの一部で用いないという制限がある。ている点などで以上のアプリケーションと大きく異なることが分かった。

図 2 Adventure Machine の UI
図 4 Variable Flavor Remix システム概念図
3.3 Music Mashroom[5]Music Mashroom は Sony Computer Science Laboratories が開発した、既存の楽曲を使用しリミックスやマッシュアッ4．実装

プを作成し、その作成された楽曲を、人と交換することができるサービスを提供した。(2014 年 2 月サービス終了)
Web 上で既存の複数曲をリミックスできるといったこと

4.1 システム
4.1.1 Web アプリケーション及びサーバーの処理に関しては、今回私たちが制作したシステムと共通である。

オーディエンスの Spotify アカウント上から、お気に入り

しかし、音源分離やループ音源の自動抽出を行っていなの楽曲を取得するための Web アプリケーションを作成しいといった点で、本研究のシステムとは異なっている。
3.4 Virtual DJ[6]© 2022 Information Processing Society of Japan

た。Web アプリケーションの作成には、Python の Web フレームワークである Flask を利用し、アカウント上の情報に172

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

アクセスするため Spotify API を利用している。具体的な内

1D10
2022/2/21

3.音源分離技術を用いて 4 パートの音源に分離

容としては、オーディエンスが QR コードをスマートフォ

2 で作成した音源に音源分離技術の一つである open-ンで読み取ることで、Web アプリケーションにアクセスすunmix[2]を使用し、Bass, Drums, Vocals, Other の 4 つの音源る。

(ステム音源)に分離。open-unmix[2]は MUSDB18 データセ

次に、アクセス先の画面で Spotify アカウントへのログイン後、どの曲を本システムに送信するかを選択する。
そして選ばれた楽曲の、トラック名、アーティスト名、試聴音源の URL、カバーアートワークの URL を Google
Cloud Firestore に保存する。

ットを使用して学習された深層学習モデルを使用しており、楽曲を Bass, Drums, Vocals, Other に分離することが可能である。
以上のように収集及びループや 4 つのパートに分離された音源を、同様に処理された他の曲と組み合わせることで、オーディエンスの趣向とマッチしたリミックスを提案することができる。

図 6 Variable Flavor Remix システム概念図

5．展示及びパフォーマンス
図 5 オーディエンスのお気に入り曲を収集する
Web アプリケーション

このように構築したシステムを応用し:
1.

オーディエンスが自分のお気に入りの曲とその他のオーディエンスの音楽とその場でリミックスできるインスタレーション

4.1.2 ローカル PC での処理ループ作成の処理はローカル PC 環境で行い、３つのステップに分けて処理を行った。

2.

オーディエンスのお気に入りの楽曲から作成したループ音源をその場でリミックスを行う
パフォーマンスシステム

1.

オーディエンスから送信されたデータの受信

2.

受信した音源のループ処理

以上の 2 つの形の実装を行った。

3.

音源分離技術を用いて 4 パートの音源に分離

5.1 インスタレーション

1. オーディエンスから送信されたデータの受信
Web アプリケーションを通して保存された楽曲データ(トラック名、アーティスト名、試聴音源 URL 等)を、リアルタイムで受信するための Python スクリプトを構築。楽曲データを受信した際に、試聴音源 URL から試聴音源をダウンロードする。
2.受信した音源のループ処理
非不値テンソル因子分解を用いたループ音源作成アルゴリズム[6]を使用し、1 で保存した試聴音源からループに最適な 8 拍分の音源(ループ音源)を作成する。

© 2022 Information Processing Society of Japan173

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1D102022/2/21

図 7 インスタレーションの展示形態

図 10 背面インスタレーションでは Cycling ’74 Max(以後 Max)を使い、音源を再生するインターフェイスを構築。それをトラックパッド(Native Instruments MASCHINE MIKRO MK3)と連動させることで、任意のタイミングでループ音源を再生できるようにした。
5.1.1 MaxMax ではテンポの異なる複数のループ音源を、決められたテンポ（マスターテンポ）に合わせる timestretch 機能を実装。また、ループ音源の再生タイミングが常に楽曲の頭拍に揃うための実装もした。これはシステムの使用者のテ
図 10 背面クニックに関わらずループ音源の再生タイミングを揃えるサポートをするためである。

図 8 使用した Max patch の画面
5.1.2 ビジュアライズ

図 11 2 つのレイヤーを重ねた最終出力
5.2 パフォーマンス

前節で行った Max の実装に加え、インスタレーションのパフォーマンスではインスタレーションとは異なり、体験者が、どのトラックが再生されているかといった理解

Max の代わりにステージパフォーマンスで使われることが度の向上を目的とした、ビジュアルの実装をクリエイティ

多い DAW ソフトである Ableton Live のセッションビュー

ブ・コーディング向けの C++ライブラリの openFrameworks

を使用した。使用する機材としてはトラックパッドの代わで行った。前面と背面のレイヤーで異なるビジュアルを設りに Ableton Push を使用することで、インスタレーション

け、前面のレイヤーでは 4 つの曲のカバーアートと、再生時に比べ各ループの音量調節や Reverb や Echo 等のエフェされているループ音源のオン・オフや、出力されている音クトを使用することを可能とし、より幅が広い表現を可能の波形及び参加者に読み取ってもらうための QR コード、とした。

背面のレイヤーでは出力される音とカバーアートをベースとしたジェネラティブビジュアルを出力している。

図 12 使用した Ableton Live の画面

図 9 前面© 2022 Information Processing Society of Japan174

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1D102022/2/21

図 13 Ableton Push を使用しパフォーマンスする様子

6．まとめ
音源分離やループ抽出技術を用いオーディエンスから収集した曲を元に即興でリミックスできるシステムの、開発に向けた実装を行った。また、システムを利用したインスタレーションや、パフォーマンスのでも発表も行った。
双方を通し、DJ とオーディエンス間のさらなるコミュニ
ケーションに留まらず、新しい音楽体験やパフォーマンスの形となりうることを確認できた。また、コロナウイルス禍で注目が当てられたオンラインライブ配信での応用法も考えられる、当システムのさらなる発展を続けていく予定である。

参考文献[1]J. B. L. Smith and M. Goto, "Nonnegative tensor factorization
for source separation of loops in audio," in Proceedings of theIEEE International Conference on Acoustics, Speech and Signal
Processing, 2018, pp. 171–175.
[2]F.-R. Stöter, S. Uhlich, A. Liutkus, and Y. Mitsufuji, "OpenUnmix - A Reference Implementation for Music Source
Separation," Journal of Open Source Software, vol. 4, no. 41, p.
1667, 2019.
[3]J. Smith, Y. Kawasaki, and M. Goto, "Unmixer: An Interface
for Extracting and Remixing Loops," in Proceedings of the 20thInternational

SocietyforMusic

Information

Retrieval

Conference, Delft, The Netherlands, Nov. 2019, pp. 824–831[4] “Madeon | Adventure Machine”
https://adventuremachine.4thfloorcreative.co.uk/ , (参照 202112-22)[5] “Music Mashroom”. https://www.sonycsl.co.jp/project/417/ ,(参照 2021-12-22)[6]‟Virtual DJ”. https://www.virtualdj.com/ , (参照 2021-12-22)© 2022 Information Processing Society of Japan175