情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B06
2021/3/10

音源分離を用いた耳コピ・アドリブ練習支援アプリケーション『MuSep』の開発
久野 文菜†1,a)

濱川 礼†2,b)

概要：本論文では GAN を用いた音源分離手法と，その音源分離技術を用いた耳コピ・アドリブ練習支援アプリケーションの開発について述べる．様々な楽器で演奏されている多重奏から各楽器の音を分離する
音源分離技術を利用し，多重奏から選択した楽器の音のみ抽出することで耳コピの支援を行う．また反対に選択した楽器の音を消去し，消去した箇所に合わせて自分で演奏することでアドリブの練習を行うことも可能にする．また音源分離の精度を向上させるため GAN を用いた音源分離手法の提案を行う．音をスペクトログラムに変換し，多重奏のスペクトログラムと各楽器のスペクトログラムをペアで GAN で学習させ分離モデルを作成する．分離させたい多重奏のスペクトログラムにその分離モデルを適用させることで各楽器のスペクトログラムを生成する．

1. 背景及び目的
図 1 は 2 つともピアノの楽譜である．左がクラシックで有名なフレデリック・ショパンによる『幻想即興曲』，右がジョー・ガーランドによる『In The Mood』の楽譜である．ジャズにはコードに沿って即興で自由に演奏する『アドリブ [1]』が存在するためミュージシャンによって弾く音や弾き方が違う．そのためジャズの楽譜はクラシックの楽譜と比較すると，演奏中に弾くべき音符や強弱記号が楽譜中にほぼ記されていない．
ジャズを演奏するミュージシャンは他のミュージシャン

図 1 左：クラシックのピアノ譜，右：ジャズのピアノ譜がどのようにその曲を演奏しているのかを耳で聴き取ることがよくある．これを『耳コピ [2]』という．
しかしアドリブの練習を行ったり耳コピをする上でそれぞれ問題点が出てくる．

( 1 ) アドリブ練習をする際，自分で演奏する楽器以外による伴奏が必要である．しかし自分の演奏する曲において自分の楽器の音のみが消えている（マイナスワン）音源があるとは限らない．

( 2 ) 耳コピをする際，図 2 に示すビッグバンドジャズ隊
形 [3] のように，演奏が大人数により複数種類の楽器†1†2a)b)

現在，中京大学大学院工学研究科
現在，中京大学
kuno.ayana.312@gmail.com
rei-hama@sist.chukyo-u.ac.jp© 2021 Information Processing Society of Japan（主にピアノ・ベース・ドラム・ギター・トランペッ
ト・トロンボーン・サックスの７種類）で構成されている場合，自分の聴き取りたい楽器とそれ以外の楽器の音が混ざり，耳コピしにくいことが多々ある．
これら 2 つの問題を解決を解決するために本論文では，様々な楽器で演奏されている多重奏から各楽器の音を分離する音源分離技術を利用した，アドリブ練習・耳コピ支援アプリケーション『MuSep（ミューゼップ）』を開発した．

2. 音源分離に関する従来研究
近年ではディープラーニングを用いて音源分離を行う手法が数多く登場している．Daniel らは，U-Net の入力にス

211

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B06
2021/3/10図 3

耳コピ支援関連ソフトウェア

スされている．その中でも使いやすく評判が高いのが図 4
図 2 ビッグバンド隊形に示した mimiCopy[10] と Audipo[11] である．mimiCopy
では曲中で自分の聴きたい箇所をループ再生でき，その部テレオ音源の音の波形を用いることで音源分離を行う手法分の速度を落としたりピッチを変更したりが可能である．

『Wave-U-Net[4]』を提案している．U-Net とは全層畳み込

Audipo では自分が聴き始めたい箇所に印をつけてそこかみネットワークであり，その入力に音の波形を用いることら聴き始めることができ，曲の全体を掴みつつどこから聴で音声信号の位相情報とその定位を考慮しながら音を分離き取りたいのかの把握や，速度を落として聴くことが可能

する．Chuang らは自己教師あり学習を利用し，楽器を演である．この 2 つのアプリをはじめとして従来のアプリで奏する複数人の動きを映像から分析することで個々の楽器は，曲中で自分の好きな箇所にクリップを付け，その間をの音を分離する手法を提案している [5]．Fabian-Robert ら繰り返したり，ゆっくり再生することで聴き取れるようにはスペクトログラムを BLSTM（Bidirectional Long Short-するといった支援方法を取っていた．しかし，やはり多重Term Memory）で学習させることによって音源分離を行奏となるとゆっくり繰り返して聴いたところで耳コピできう手法『Open-Unmix[6]』を提案している．BLSTM を多ないのが現状である．

重奏のスペクトログラムから各楽器のスペクトログラムへの変換に利用し，多重奏のスペクトログラムから各楽器のスペクトログラムになる為のマスクを生成している．

Open-Unmix は自分で Github のコードをクローンすることで自分の選択した曲を音源分離することが可能だが，ソフトウェアやアプリケーションにはなってないので簡単に利用することは不可能である．

3. 耳コピ支援に関する関連ソフトウェア・ア
プリケーション
3.1 関連ソフトウェア

図 4

耳コピ支援関連スマホアプリケーション

耳コピを支援するソフトウェアは昔から多く開発されてきている．図 3 に示した Transcribe![7] や Wave Tone[8] は音源を入力すると，ある時刻にどの周波数が鳴っているの3.3 アドリブ練習支援

かを示すソフトウェアである．多重奏を入力とすると全て

図 5 に示した iReal Pro[12] ではアプリ内に内蔵されての楽器の周波数が表示されるため，自分の耳コピしたい楽いる曲を選択するとその曲のコードを表示し，自動でその器で演奏されている周波数がどれに当たるのかは不明確で曲にドラム・ベース・ピアノによる伴奏を付けることでアある．Band Producer 5[9] は音源分離により耳コピを支援

ドリブの練習ができるアプリである．曲の中で何回ソロをするソフトウェアであるが，周波数領域で楽器の音を分離演奏するかの指定や曲全体のピッチなどを変更することはしている（例えばベースのように基本周波数の低い楽器を可能だが，アプリ内臓の曲ではあるが指定した CD のアレ

耳コピしたい場合，周波数の低域のみを聴く）ため，ベーンジで演奏を行いたい場合や，そもそもアプリ内に内蔵さスの他に周波数の低い音を鳴らしている楽器（ピアノやバれていない曲のアドリブを練習することは不可能である．

ストロンボーンなど）が曲中に存在するとそれも含めて分離されてしまう．

4. 提案手法
2 章で述べた関連研究では，ステレオ音源や映像が必要

3.2 関連スマホアプリケーション
耳コピを支援するスマホアプリはこれまでに沢山リリー© 2021 Information Processing Society of Japanであったり，アプリケーションやソフトウェアには応用されていない為ユーザが気軽に音源分離をすることができな

212

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

図 5

1B06
2021/3/10

アドリブ練習支援従来スマホアプリケーション

図 6 GAN を使用した音源分離手法

いものが多く挙げられた．また 3 章で述べた耳コピの支援

グラムを画像として GAN で学習させる．スペクトログラ

ソフトウェアやアプリケーションは，主に再生方法に工夫

ムは 8 層畳み込み処理を行い，活性化関数は leaky relu をを凝らすことで耳コピを支援しており，楽器ごとに音を分用いた．データセットは 290 時間分の楽曲を用いた．学

離することで耳コピを支援する方法はとっていない．そこ習は 2 つのペア画像から画像間の関係を学習してモデルでステレオ音源や映像を必要とせず音源分離を行うことがを生成し，入力画像に対して学習したモデルを利用してできる手法と，その音源分離技術を使用しユーザが気軽に新たな画像を生成することができる，GAN の一種である

音源分離を使用してアドリブ練習や耳コピに使用できるス

Pix2Pix[13] で行う．

マートフォンアプリケーションの提案を行う．

4.1.3 データセット
2 章で述べた関連研究ではデータセットに MUSDB[14]4.1 音源分離
本手法では図 6 に示すように，スペクトログラムを画像が用いられている．MUSDB に用意されているのはドラム・エレクトリックベース・ボーカル・ピアノの 4 種類のとして扱い，多重奏のスペクトログラムから各楽器のスペ楽器である．今回は 1 章で述べたビッグバンドジャズ隊形クトログラムを GAN によって生成することで音源分離をに含まれる楽器も分離させたいため，打ち込みキーボード行う．GAN とはディープラーニングを使用しデータからKRONOS[15] と Mac に標準で搭載されている DTM ソフ特徴を学習することで，実在しないデータを生成することト GarageBand[16] を使用しウッドベース・トランペットのできる敵対的生成ネットワークの一種である．ベースのの 2 種類の楽器の音源を追加で作成した．ドラム・ボーカ

分離における提案手法の例を図 7 に示す．多重奏のスペクル・ピアノ・ウッドベース・トランペットの楽器で演奏さトログラムからベースのスペクトログラムを生成するモデ

れた各音源 300 時間分と，各音源を合成し多重奏とした音ルを作成し，ベースを分離させたい多重奏のスペクトログ

源 300 時間分を学習データとし，連続ウェーブレット変換

ラムに作成したモデルを適応させることでベースのスペクを用いてスペクトログラムへと変換する（図 8）．スペクトトログラムを生成する．これを楽器ごとに行う．2 章で示

ログラムの大きさは 4096 × 2048 である．

した音源分離の研究ではスペクトログラムを生成する際に短時間フーリエ変換を使用しているが，本手法では音とい4.2 スマートフォンアプリケーション

う連続性あるデータを 1 枚 1 枚画像として切り離して学習

MuSep は iOS アプリケーションである．図 9 がアプリするため時間領域の情報が失われてしまう．そこで，時間の基本画面であり，ユーザは iPhone 内の曲（DTM 保護を領域の情報を残すことが可能なウェーブレット変換を使用除く）と分離したい楽器を選択することで，選択した楽器することで GAN による音源分離を可能にした．の音を抽出して聴く，もしくは曲から選択した楽器の音が4.1.1 連続ウェーブレット変換消えた伴奏を聴くことができる．楽器選択後，図 10 のよ

フーリエ変換では，時間幅を短くすると周波数の情報がハッキリと分からなくなり，逆に周波数の情報をきめ細かうに耳コピ支援かアドリブ練習支援かを選択できる画面になる．

く知ろうとすると，時間幅を大きく取らなければならない

アドリブ練習支援を選択した場合，図 11 に示すアドリブという不確定性関係が時間と周波数の間にでてくる．そこ

練習支援画面へと遷移する．ユーザは楽器を選択した後，で低周波領域では周波数の分解能を優先し，高周波領域で選択した楽器の音のみが消えた音源を流すことで，それには時間の分解能を優先するように変換することできる連続合わせてアドリブ練習ができる．またユーザは Playback

ウェーブレット変換を使用する．

position bar によって曲中で練習したい箇所に飛ぶことも

4.1.2 GAN による学習できる．

連続ウェーブレット変換によって変換されたスペクトロ© 2021 Information Processing Society of Japan

耳コピ支援を選択した場合，図 12 に示す耳コピ支援画

213

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B06
2021/3/10

図 7 ベースの音分離の例
表 1 アンケート調査結果
質問番号

アドリブ練習は大変か？

Q1

何も使用せずアドリブ練習した場合と MuSep を使用してQ2アドリブ練習した場合を比較して MuSep はどうだったか？
普段使用しているアプリでアドリブ練習した場合と MuSep を使用してQ3アドリブ練習した場合を比較して MuSep はどうだったか？
耳コピは大変か？

Q4

何も使用せず耳コピした場合と MuSep を使用してQ5耳コピした場合を比較して MuSep はどうだったか？
普段使用しているアプリで耳コピした場合と MuSep を使用してQ6耳コピした場合を比較して MuSep はどうだったか？

123

4

5

平均

0002

3

4.6

00

203

4.20

1

1

12

3.8

0000

5

5.0

00

2

2

1

3.8

102203.0

図 8 データセット作成方法
図 10

耳コピ支援・アドリブ練習支援の選択画面の音のみを聴くことができ，「今どこを演奏しているのか」がわからなくなってしまったら original の Volume bar を上げることで元の音源を聴くことが可能である．ユーザはPlayback position bar によって曲中で聴き取りたい箇所に飛んだり，Tempo adjustment bar によってゆっくり再生したりなどができる．
図 9

アプリケーション基本画面

5. アプリケーションの評価実験
5 人のアマチュアジャズミュージシャンに，自分で選択面へと遷移する．separate の Volume bar を上げ，originalした曲のアドリブ練習と，自分がいつも演奏している楽器の Volume bar は 0 にすることで，分離した選択した楽器の耳コピを行ってもらい，アンケートを行った．アンケー© 2021 Information Processing Society of Japan214

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1B06
2021/3/10

8. 展望
MuSep は 2021 年 3 月 に 開 催 さ れ る SXSW の Trade
Show[17] で展示予定である．そこでさらなるフィードバックを得てより使いやすいアプリにしていきたい．また評価実験にてもらった意見をもとに繰り返し再生機能の実装などを行っていきたい．
参考文献
[1]
図 11

アドリブ練習支援画面

[2]
[3]
[4]

[5]

[6]

[7]
図 12

耳コピ支援画面

トの設問を表 1 に示す．設問に対して対称型 5 段階評価を用意し，Q1 と Q4 では 1 が『そうでもない』〜5 が『とても大変』，それ以外は 1 が『良くない』〜5 が『とても良い』
として回答してもらった．また上記の設問以外に MuSepに関してのコメントを自由記述で書いてもらった．

6. 結果・考察
今回の評価ではユーザに自由にアドリブ練習・耳コピの[8]
[9]
[10]

[11]

[12]
[13]

曲を選んでもらった．アンケートの自由記述では「自分の演奏したい曲を練習できてよかった」という意見が多い中，ユーザの選んだ楽器・曲によっては分離精度が悪く「分離[14]精度が高かったらもっと使いたくなる」という意見もあった．分離精度が悪いのは特にピアノで，音源で演奏されて[15]いるそもそもの音量が小さい為ではないかと考えられる．
また普段使用しているアプリにも繰り返し再生などのいい[16]

ところがあるため，MuSep にもそのような機能があると嬉[17]

Wikipedia:
adlib(2020).
https://ja.wikipedia.org/wiki/adlib.
Wikipedia:
耳コピ(2020).
https://ja.wikipedia.org/wiki/
Wikipedia:bigband(2020).
https://ja.wikipedia.org/wiki/bigband.
Daniel, S., Sebastian, E. and Simon, D.: Wave-U-Net:
A Multi-Scale Neural Network for End-to-End Audio
Source Separation, 19th ISMIR (2018).
Gan, C., Huang, D., Zhao, H., Tenenbaum, J. B. andTorralba, A.: Music Gesture for Visual Sound Separation (2020).
Stöter, F.-R., Uhlich, S., Liutkus, A. and Mitsufuji, Y.: Open-Unmix - A Reference Implementation for Music Source Separation, Journal of Open
Source Software, Vol. 4, No. 41, p. 1667 (online), DOI:
10.21105/joss.01667 (2019).
seventhstring:Transcribe!
(2019).
https://www.seventhstring.com/xscribe/download.html.
Sound,A.:
WaveTone(2015).
http://ackiesound.ifdef.jp/download.htmlwt.
KAWAI:
Band
Producer5(2019).
https://cm.kawai.jp/products/bp/.
Apple:
mimiCopy(2020).
https://apps.apple.com/us/app/mimicopy-slow-downplayer/id405894824.
Apple:
Audipo(2020).
https://apps.apple.com/us/app/audipo-audio-speedchanger/id607971056.
Apple:
iRealpro(2020).
https://apps.apple.com/us/app/ireal-pro/id298206806.
Isola, P., Zhu, J.-Y., Zhou, T. and Efros, A. A.: Imageto-Image Translation with Conditional Adversarial Networks (2016).
Raﬁi, Z., Liutkus, A., Stöter, F.-R., Mimilakis, S. I. andBittner, R.: The MUSDB18 corpus for music separation(2017).
Korg:
KRONOS(2020).
https://www.korg.com/jp/products/synthesizers/kronos2/.
Apple:
GarageBand(2020).
https://www.apple.com/jp/ios/garageband/.
SXSW: SXSW 2020 (2020). https://www.sxsw.com/.

しいとの意見もあった．

7. まとめ
連続ウェーブレット変換と GAN による音源分離の有用性を示した．またその手法を取り入れた iOS アプリを開発し，ユーザから高い評価を得た．

© 2021 Information Processing Society of Japan215