情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT012
2016/3/3

歌声・調波楽器音・打楽器音分離とユーザ演奏のリアルタイム可視化に基づく音楽演奏練習システム
土橋 彩香1,a)

池宮 由楽1,b)

糸山 克寿1,c)

吉井 和佳1,d)

概要：本稿では，任意の音楽音響信号に対してカラオケ音源やマイナスワン音源を自動生成し，それら伴奏に合わせてユーザの歌唱・楽器演奏をリアルタイムで解析・可視化する音楽演奏練習システムについて述べる．本システムは音量調節・音楽内容表示・演奏認識の三つの機能からなり，どこでも手軽に利用できるようタブレット端末上に実装されている．ユーザが音楽に合わせて歌唱や楽器を練習するとき，各楽器パート（ボーカル・ギターやキーボードなどの調波楽器・ドラム）の音量を個別に抑制でき，原曲の音楽内容（ビート時刻・コード進行・歌声の音高）は手本として同期スクロール表示される．さらに，練習を効果的に行うため，ユーザ自身の歌声の音高やギター演奏のコードはリアルタイムで認識され，手本と比較表示される．これらの機能を利用するには，あらかじめ歌声・調波楽器音・打楽器音の分離と音楽内
容解析を行うことが必要となる．この問題を解決するため，ロバスト主成分分析に基づく歌声・伴奏音分
離とスペクトログラムの異方性に基づく調波楽器音・打楽器音分離を組み合わせる手法を提案する．また，原曲の音楽内容は，クラウドソーシング型音楽鑑賞 Web サービス Songle による解析結果と連動させる．
これにより，誤りを修正したら他ユーザと共有したり，タブレット上に最新結果を反映することができる．
被験者実験の結果，提案システムは三つの機能ともに，音楽練習に有益であることが示された．

A Music Performance Practice System
based on Vocal, Harmonic, and Percussive Source Separation
and Real-time Visualization of User Performances
Ayaka Dobashi1,a)

Yukara Ikemiya1,b)

Katsutoshi Itoyama1,c)Kazuyoshi Yoshii1,d)Abstract: This paper presents a music performance practice system that can generate karaoke or minus-one
versions of arbitrary music recordings and analyze and visualize user performances in real time. This system
is implemented on a tablet computer for mobility and consists of three functions: instrument volume control,music content visualization, and user performance analysis. When a user sings a song or plays a musicalinstrument, the user is allowed to control the volume of each instrument group (vocal, harmonic instruments,
and drums) and musical contents (beat times, chord progressions, and vocal pitches) of original recordings
are visualized in synchronization with the music playback. To help a user eﬀectively practice the musicalperformance, the pitches of user’s singing voices and the chords of user’s guitar performances are analyzed
in real time and visually compared with original ones. This system needs to perform vocal, harmonic, andpercussive source separation and automatic content analysis in advance. To solve this problem, we propose asource separation method that combines vocal-and-accompaniment source separation based on robust principal component analysis with harmonic-and-percussive source separation based on spectral anisotropy. In
addition, we link the musical contents of original recordings with those analyzed by a crowd-sourcing Web
service called Songle. This enables us to reﬂect the latest content analysis results of Songle to the system.
The subjective experiment showed the eﬀectiveness of the main three functions.

1
a)
b)

京都大学 大学院情報学研究科
Graduate School of Informatics, Kyoto University
dobashi@kuis.kyoto-u.ac.jp
ikemiya@kuis.kyoto-u.ac.jp（2015 年 3 月修士課程修了）© 2016 Information Processing Society of Japanc)d)itoyama@kuis.kyoto-u.ac.jp
yoshii@kuis.kyoto-u.ac.jp

97情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT012
2016/3/3

1. はじめに
単に聴くだけだけではなく，歌ったり演奏したりすることは，音楽の楽しみ方の一形態である．好きな楽曲に合わせて歌うためには，カラオケ施設を利用するのが一般的である．しかし，そこでの伴奏音は MIDI 音源を用いて機械的に合成されたものであることが多く，市販 CD に収録されているプロ歌唱に付随する伴奏音とは音色や品質が異なることから，臨場感に欠ける場合があった．一方，もっと手軽に場所を問わずにカラオケを楽しんだり，皆とカラオ
ケに行く前に練習するためには，市販 CD に収録されているカラオケ音源がしばしば利用される．しかし，カラオケ音源が収録されている楽曲は，有名なシングル CD をはじめとして全体のごく一部であった．もしカラオケ音源が利用可能だとしても，プロ歌唱を含む音源には収録されてい図 1 システムの使用例：ユーザは，画面上にスクロール表示される

るコーラス歌唱などもすべて除去されており，エフェクト

ビート時刻とコード進行を見ながら，他パート（ボーカル・ドや楽器構成などが異なる場合も多かった．

ラム）の再生に合わせてキーボードを演奏している．

Fig. 1 Usage example: A user is playing a keyboard with

好きな楽曲に合わせてギターやキーボード，ドラムなど

the playback of the other instrument parts (vocal andの練習を行うには，マイナスワン音源（原曲から特定の楽drums) while seeing the beat times and chord progres-

器パートのみを除去したもの）があると有益である．例え

sions scrolled on the screen.

ば，ボーカル・ギター・ドラムからなるバンドが練習を行う
際，欠席したメンバーのパートのみを伴奏音として再生でしてスクロール表示され，調波楽器を演奏する際にはそのきれば便利である．最近では，伴奏として原曲をそのまま

コードがリアルタイムで解析・可視化される．

再生し，卓越したソロ演奏・歌唱を録画して動画共有サー

本システムを実現するには，歌声・調波楽器音・打楽器音

ビスに投稿するアマチュア演奏家が多数存在する（「演奏分離，音楽内容の可視化，リアルタイム演奏認識に取り組む

してみた」「歌ってみた」動画と呼ばれる）．その際，担当必要がある．まず，各パートの音源分離を行うため，ロバパートとの衝突を避けるために，原曲の音量を小さくする

スト主成分分析 (Robust Principal Component Analysis:

必要がなくなれば，より完成度の高い作品を投稿すること

RPCA) に基づく歌声・伴奏音分離 [1] とスペクトログラムが可能になる．一方，路上パフォーマンスとして伴奏つきの異方性に基づく調波楽器音・打楽器音分離 [2] を組み合わでソロ演奏を披露する状況も考えられるため，手軽に持ちせる手法を提案する．原曲の音楽内容を取得するには，ク運びできるマイナスワン音源再生装置が望まれる．

ラウドソーシング型音楽鑑賞 Web サービス Songle [3] を用

本論文では，任意の音楽音響信号（市販 CD に収録されいる．本サービスでは，Web 上にある任意の音楽音響信号ているような歌唱を含む完全な楽曲）に対して，カラオケのビート時刻・コード進行・歌声の音高・楽曲構造などの音源やマイナスワン音源を自動生成し，ユーザの歌唱や楽要素を自動解析しブラウザ上に表示できるだけではなく，器の練習を支援するシステムについて述べる（図 1）．本SongleWidget と呼ばれる API を用いて解析結果を取得可

システムは Android タブレット上に実装されており，ど能である．自動解析には誤りが含まれるため，Wikipedia

こでも手軽に音楽を楽しむことができる．ユーザが歌う際と同様に，ユーザは解析誤りを Web 上で訂正でき，そのには，原曲中に含まれるコーラス歌唱を残しつつ，メイン

結果は他ユーザと共有される．この Web サービスを用いボーカルだけを抑制したカラオケ音源を再生することがることで，提案システムは音楽内容の逐次アップデート

できる．このとき，原曲中のプロ歌手の歌声の音高が画面が可能になる．また，ユーザ演奏のリアルタイム解析の上にガイドとして表示されており，ユーザはそれを参考にため，テンプレートに基づくコード認識と，Subharmonic

しながら歌うことができる．一方，ユーザの歌声の音高はSummation [4] に基づく歌声の音高推定を用いる．これら

リアルタイムで解析・可視化され，自分の歌声とプロ歌唱の手法は簡便ではあるが，計算資源の限られた携帯端末上の音高を比較しながら反省できる．また，ユーザがギターでも軽快な動作が可能である．

やキーボードなどの調波楽器，あるいはドラムなどの打楽

本論文の構成は以下の通りである．2 章で提案システム

器を弾く際には，カラオケモードと同様に，調波楽器音あのユーザインタフェースの設計を，3 章で実現方法をそれ

るいは打楽器音の音量を個別に抑制することができる．こぞれ説明する．4 章で被験者実験について報告する．5 章のとき，原曲のビート時刻やコード進行は音楽再生と同期で関連研究を紹介し，6 章でまとめとする．

© 2016 Information Processing Society of Japan98

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

再⽣時間/曲の⻑さ

16INT012
2016/3/3

現在の再⽣位置

⾳量調整

楽曲構造

サビにスキップ

ミュート
オン/オフ

サビ
原曲のコード
原曲のボーカル⾳⾼
(緑⾊線)
ビート位置

ユーザの
ボーカル⾳⾼(⻩⾊線)

図 2

ユーザのコード

提案システムのスクリーンショット．

再⽣/停⽌スクロール速度の調整

現在の再⽣位置の調整

図 3

スクロール

⽂字サイズの調整

提案システムの操作方法．

Fig. 3 How to use the proposed system.

Fig. 2 A screenshot of the proposed system.

2. ユーザインターフェースの設計と機能

2.1 音量調節機能
ユーザは，原曲中の歌声（メインボーカルのみ），調波

本章では，Android タブレット (HTC Nexus 9) 上に実楽器音（コーラスの歌声を含む），打楽器音の各音量を独装した提案システムのユーザインタフェースについて述べ

立に調節できる．画面左上に各パートに対応した三本の音る．図 2 に画面内の要素，図 3 に操作方法を示す．本シス量スライダがある．その右のスライダでは，マイク入力のテムは主に，分離音源の音量調節，音楽内容表示，ユーザ

音量の閾値を変更できる（図 2）．ユーザが歌唱あるいはの演奏認識の三つの機能を有している．これらの機能は，演奏したいパートの音量を下げることにより，システムは歌唱や楽器の練習を効果的に行う上で有用である．

原曲のカラオケ・マイナスワンバージョンを再生する．こユーザインタフェース設計の際には，迷いなく操作できの機能は練習のときに有用である．例えば，歌の練習をする標準的なインタフェースを用いながらも，新鮮なインタ

るとき，歌声の音量を下げることができる．歌いながらギ

ラクティブ体験が得られるように工夫した．例えば，音量ターを弾きたいときは歌声と調波楽器音の音量を下げれば調節機能に関しては，縦型スライダを並行に配置し，マル

よい．バンドメンバーの都合が合わない場合は，欠けたメ

チトラックレコーディング用のミキサと同様の操作を実現

ンバーのパートを代わりに再生することができる．

した．ユーザは，不可逆にミキシングされているはずの混合音を，あたかもミキシングエンジニアのように操作し，

2.2 音楽内容表示機能

その結果をリアルタイムに視聴できる．ここで，インタ

画面右上部には，階層的な楽曲構造が表示されている．

フェースの操作方法や効果は十分予測できるにもかかわら左から右へ時系列順に並んでいる同じ大きさの四角形は同ず，不思議なインタラクティブ体験がもたらされるのが重じ構造の繰り返しを表す．中でも，水色の四角形はサビを要な点である．音楽内容表示やユーザの演奏認識について表していて，これをタップするとそれぞれのサビの開始時も同様である．原曲とユーザ演奏の解析結果を音楽再生に刻に再生位置をジャンプできる．

合わせてスクロールしながら比較表示するのは，音楽ゲー

画面下部に，音楽の再生に同期してビート時刻やコードムなどで一般的なインタフェースである．しかし，任意の進行がスクロール表示される．上段に原曲のコード進行が楽曲に対して，実楽器（電子デバイスではない）を用いて表示されるので，ギターやキーボードを演奏する場合は手

普段通り演奏しても音楽ゲームが可能になることから，音本を見ながら演奏できる，また，原曲の歌声の音高は緑色

楽ゲームを楽しむと同時に，あたかも音楽ゲームを製作しの軌跡で表示されており，伴奏に合わせて歌う場合も手本ているかのような不思議な感覚がもたらされる．

を参照しながら歌うことができる．

，
上記の議論から，本システムは，能動的音楽鑑賞（5 章）

コードの表示幅は水平方向のピンチイン・アウトで変更

すなわち，音楽の演奏・制作・鑑賞の総合的な楽しさを提する．表示幅を縮めると音楽内容を俯瞰しやすくなり，広供するものである．Songle から取得した音楽内容をそのげると音高やビート時刻が見やすくなる．コードの文字サ

ままタブレット上に表示できるため，解析結果訂正機能のイズは垂直方向のピンチイン・アウトで変更する．現在の省かれたいわば軽量版 Songle として楽しめる．このとき，再生位置の左側の再生済みの領域は暗めで表示され，そのSongle にはない音量調節機能を用いることで，同期表示部分を二本指で水平方向にスワイプすると，領域の大きさされる音楽内容を見ながら特定のパートを集中して聞いたを変更できる（画面内再生位置の変更）．この領域の大小

り，楽器パートの音量バランスを自分好みにイコライズすを調節すれば，ユーザ演奏の認識結果を確認しやすくなっることにより，より深く音楽を楽しめるようになる．

たり，先の歌声の音高やコードを確認できるようになる．

© 2016 Information Processing Society of Japan99

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

2.3 演奏認識機能
画面下部の上段には原曲のコード進行（Songle から取得）が表示されているのに対して，下段にはマイク入力からリアルタイムで認識したコードが表示・記録されている．
この機能により，ユーザはギターやキーボードを演奏する

16INT012
2016/3/3

伴奏⾳

⾳楽⾳響信号
歌声分離[ikem iya 2015]

調波楽器⾳・打楽器⾳分離

Blind
歌声分離
歌声F0推定[Fit zGerald 2010]

周波数軸⽅向に
メディアンフィルタ

時間軸⽅向にメディアンフィルタ

際に，正しく弾けているかあとで振り返って確認することができる．現在のところ，認識できるコードの種類は maj

F0軌跡を⽤いた
歌声分離

ウィーナーフィルタによる分離と min の二種類のみであり，ルート音が 12 種類あるので，合計 24 種類のコードを認識できる．
また，緑色の軌跡は原曲の歌声の音高（Songle から取得）を表しているのに対して，黄色の軌跡はマイク入力か

歌声

打楽器⾳

図 4

調波楽器⾳

歌声・調波楽器音・打楽器音分離．

Fig. 4 Vocal, harmonic, and percussive source separation.

らリアルタイムで認識した音高を示している．この機能により，ユーザはカラオケを楽しむ際に，原曲のプロ歌唱と自分の歌唱の差を視覚的に確認することができる．同様の比較機能は，歌唱力向上インタフェース Mirusinger [5] でも提案されており，詳細な音高軌跡を表示することで，ビブラートやグリッサンドなどの歌唱表現の訓練を行うことができる．一方，本システムでは，歌声の音高は半音単位にあらかじめクオンタイズされており，各音符を正しい音高で歌うことに主眼を置いている．

3. システム実装
本章では，高度な信号処理に基づく提案システムの内部実装について説明する．各音源の音量調節機能は歌声・調
波楽器音・打楽器音分離によって実現し，音楽内容はクラウドソーシング型音楽解析サービス Songle から取得する．
さらに，リアルタイムでの歌声の音高推定やギター・キー
ボード演奏に対するコード認識を行う．

3.1 音源分離
音楽音響信号を歌声・調波楽器音・打楽器音に分離するには，まず音楽音響信号を歌声とその他の伴奏音に分離し，後者を更に調波楽器音と打楽器音に分離する（図 4）．歌
声・調波楽器音・打楽器音の音源分離は，あらかじめデス
クトップ型の計算機上で行うものとする．ただし，上記の計算量は比較的小さいため，携帯端末の CPU の性能向上に伴い，将来的にはタブレット上でのスタンドアロン動作が可能になると考えられる．

3.1.1 歌声・伴奏音分離
歌声・伴奏音分離には，RPCA と歌声の音高推定手法を組み合わせる手法 [1] を用いる（図 5）．本手法は，2014 年の国際的な音楽解析コンテストである MIREX において，
歌声分離トラックで最も優れた分離性能を達成している．
まず，RPCA により音楽音響信号のスペクトログラムを歌声にあたるスパース行列と伴奏にあたる低ランク行列の和に分離する．次に，得られた二つの行列を要素ごとに比較
してバイナリマスクを作成し，入力スペクトログラムに適用することで歌声スペクトログラムを取得する．

© 2016 Information Processing Society of Japan

次に，Subharmonic Summation (SHS) [4] により歌声の音高軌跡を推定する．具体的には，対数周波数軸において，倍音強度を足しこんだ Salience 関数 H(t, s) を計算する．

H(t, s) =N

hn P (t, s + 1200 log2 n)

(1)

n=1

ここで，t は時間フレームのインデックス，s は対数周波数[cents]，P (t, s) は時刻 t・周波数 s での振幅, N は想定する倍音成分の数，hn は重みを表している. 上記の Salience
関数の和を最大化する滑らかな歌声音高軌跡 Ŝ は，以下の最適化問題をビタビアルゴリズムで解くことで得られる．

Ŝ = arg max
S1 ,...,STT−1
{log at H(t, st ) + log T (st , st+1 )} (2)t=1

ここで，T (st , st+1 ) は，現在の音高 st から次の音高 st+1 への遷移確率（適切に設定）であり，at は正規化係数である．
最後に，与えられた音高の倍音成分のみを通すバイナリ
マスクを作成し，RPCA マスクと調波マスクを統合する．
この統合マスクを入力スペクトログラムに適用することで最終的な歌声スペクトログラムを得る．

3.1.2 調波楽器音・打楽器音分離
調波楽器音・打楽器音分離には，スペクトログラムの異方性に着目し，メディアンフィルタに基づく手法を用いる（図 6）．具体的には，調波楽器音はスペクトログラム中で時間軸方向に滑らかであり，打楽器音はスペクトログラム
中で周波数軸方向に滑らかであることに着目する．したがって，調波楽器音を抽出したい場合は，時間軸方向のメ
ディアンフィルタを，打楽器音を抽出したい場合は周波数
軸方向のメディアンフィルタを適用すればよい．
入力の振幅スペクトログラムを W ，調波楽器音の振幅
スペクトログラムを H, 打楽器音の振幅スペクトログラムを P とすると，W = H + P が成立する必要がある．まず，W に時間軸方向・周波数軸方向のメディアンフィル
タをそれぞれ適用することで，暫定的なスペクトログラム

H と P が得られる．しかし，このままでは W = H + P
を満たさないので，ウィーナーフィルタのためのソフトマ
スクを次式によって計算する．

100

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT012
2016/3/3

⼊力：混合⾳スペクトログラム

伴奏⾳スペクトログラム

RPCA

RPCAマスク

歌声スペクトログラム

調波マスク

歌声F0軌跡メディアンフィルタ

歌声F0推定t im e or frequency

t im e or frequency

打楽器⾳スペクトログラム

調波楽器⾳スペクトログラム

出力：
歌声スペクトログラムと伴奏⾳スペクトログラム

統合マスク

図 5

図 6

歌声・伴奏音分離．

Fig. 5 Vocal and accompaniment source separation.

MH =ウィーナーフィルタを⽤いた分離Hp
Hp + P p

MP =Pp
Hp + P p(3)

調波楽器音・打楽器音分離．

Fig. 6 Harmonic and percussive source separation.

ユーザの演奏のコード推定には，単純なテンプレート
マッチングを用いた．フレーム毎に音響信号のクロマベク

ここで，全ての計算は要素ごとに行うものとし，p は個々トルを計算し，あらかじめ準備した 24 種類のテンプレーの要素を p 乗することを意味する．最終的なスペクトログ

トとコサイン距離を計算することにより，最も距離の近い

ラム H と P は以下の通り計算できる．

H = W ⊗ MH

P = W ⊗ MP

コードに同定を行う．Songle から取得した正解コードの各(4)

ここで ⊗ は要素ごとの乗算を表す．

区間において，再生位置が区間に入ると同時にクロマベク
トルを足し合わせていくとともに，逐次コード推定を行い，推定結果を画面上に反映させる．したがって，区間の終わりに近づくほど解析結果が安定することになる．

3.2 音楽内容表示
表示する音楽内容は，能動的音楽鑑賞サービス Songle から SongleWidget と呼ばれる Web API を用いて取得する．

Songle では Web 上の任意の楽曲を自動解析し，繰り返し

4. 評価実験
本章では，提案システムの有効性を評価するために行った被験者実験について述べる．

構造・ビート時刻・コード進行・歌声の音高を表示する．
ユーザの誤り訂正により，解析の精度は徐々に向上するに伴い，タブレット上のデータも逐次更新される．

4.1 実験条件
ギター練習や歌唱の練習支援に関する実験を行った．実際の使用シーンを想定し，携帯性を重視して最低限の機器

3.3 演奏認識

セットであるタブレット端末・スピーカ・マイクを使用し本システムでは，ユーザの歌声の音高や演奏したコード

た．ギター演奏時の配置を図 7 に示す．音楽はスピーカ 1をリアルタイムで認識する．マイクまたはライン入力を想から．ギターの演奏音はスピーカ 2 から出力され，後者は定しているので，入力音響信号中では，認識したい歌声ま

マイクで録音される．歌唱時の配置を図 8 に示す．音楽は

たは楽器音の音量が，他の音より優勢になると考えられる．

スピーカから出力され，ユーザの歌声はマイクで録音されそのため，複雑な混合音を想定していない単純な手法でもる．歌唱時には，被験者にコード付き歌詞を配布した．

ある程度精度良く推定できることが期待される．

被験者は事前にシステムの操作方法の教示を受け，一曲

ユーザの歌声の音高推定には，歌声・伴奏音分離と同様

あたり 8 分間，システムの機能を自由に使いながらギターに SHS を用いる．リアルタイム処理を行うため，フレー

演奏・歌唱を行い，全曲終了後にアンケートに回答した．

ムごとに独立に Salience 関数を計算し，その最大値を探

使用曲は中島みゆき「地上の星」，スピッツ「チェリー」，

索することで音高を推定する．ただし，音高軌跡を平滑化

松たか子「レット・イット・ゴー 〜ありのままで〜」の三するため，前フレームの音高を平均値としたガウス関数を曲であり，曲順は被験者ごとにランダムに設定した．アン

Salience 関数に掛け合わせる．推定された音高は，直ちにケートでは，インタフェース全体の操作性がどうであった

画面上に黄色の軌跡として表示・記録されていく．

か，{ 音量調整機能・演奏認識機能 } は { 必要だったか・© 2016 Information Processing Society of Japan101

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT012
2016/3/3

表 1
ユーザ

タブレット
端末

タブレット
端末

平均

標準偏差

6

2

スピーカ2

音量調節機能
スピーカ

マイク

図 7

質問事項
インタフェース全体の操作性

ユーザ

ギター

スピーカ1

ギター演奏時の配置．

Fig. 7 Guitar performance.

アンケート結果：ギター練習支援．

Table 1 Questionnaire results of guitar performace assistance.

マイク

図 8

歌唱時の配置．

Fig. 8 Singing.
演奏認識機能

スキル向上に役立ったか・機能を楽しめたか } について 9

適切だと思う歌声

95

10

音量設定 [%]

伴奏音

56

35

打楽器音

95

10

この機能は必要だった

8

1

スキル向上に役立った

72

この機能を楽しめた

81

この機能は必要だった

8

1

スキル向上に役立った

73

この機能を楽しめた8

1

段階評価（1 から 9）で，適切だと思う音量設定を元の音量に対する割合 [%] で回答させた．また，感想・要望・気づいたことなどを自由記述させた．

表 2

アンケート結果：歌唱練習支援．

Table 2 Questionnaire results of singing assistance.

被験者は研究室外の 20 代男性 4 人であり，うち 3 人は

質問事項

平均

標準偏差

ギタリスト，ボーカリスト両方，1 人はギタリストとしてインタフェース全体の操作性

7

2
21

のみ実験に参加した．4 人は 2 年間から 9 年間のギター演音量調節機能奏歴があり，ボーカリストとして参加した 3 人は月二，三度から週二，三度カラオケを利用していた．

4.2 実験結果

適切だと思う歌声

33

音量設定 [%]

伴奏音

100

0

打楽器音

67

58

この機能は必要だった

9

0

スキル向上に役立った

71

この機能を楽しめた

91

この機能は必要だった

8

1

ト結果を表 1，歌唱のためにシステムを使用した際のアン

スキル向上に役立った

7

2

ケート結果を表 2 に示す．

この機能を楽しめた

8

1

ギター演奏のためにシステムを使用した際のアンケー

演奏認識機能音量調節機能については，ギター演奏・歌唱のいずれにおいても，機能の必要性・スキル向上における有用性・楽行・歌声の音高に加えて，歌詞を同期表示してほしいというしさの観点で有効性が示された．全体的に，歌唱時の方が意見が得られた．これを実現するには，SongPrompter [6]

スコアが高い傾向が見られた．自由記述から，自分のパーのように，混合音中に含まれる歌声に対して歌詞を自動的

トを置き換えるような使い方のほか，歌声だけを残してギに同期する技術を応用することが考えられる．

ターを合わせ，弾き語りのようにするなど目的に応じて各演奏認識機能についても，ギター演奏・歌唱のいずれに

音源音量を調節できることは有益であるという意見が複数おいても，機能の必要性・スキル向上における有用性・楽得られた．伴奏音を消すことで，同じキーの違うコードをしさの観点で有効性が示された．コード認識時の境界は任弾くなどのアレンジができるという意見が得られた一方，意にして，音高表示の時間幅はもう少し大きくした方がいギター演奏時の伴奏音および歌唱時の歌声の音量の平均がいという意見が得られた．本システムでは原曲のコードのそれぞれ 56%，33%あることから，ユーザの理解度や用途

区間ごとにユーザのコードが推定される．そのため，原曲によっては歌声や特定のパートを完全にカットしてしまうの通りに弾く場合は望ましいが，アレンジを加えるときによりも多少残っている方が利用しやすいことが示された．

はコードの切り替わりが必ずしも原曲と同じにはならな

伴奏音はもう少し細分化してほしいという意見も得られ

い．音高軌跡については，クオンタイズや平滑化すると見た．例えば，ギター練習用のマイナスワン音源を作成しよやすくなる一方で，ビブラートのような表現が可視化されうとすると，複数の調波楽器の音量が抑制され，音量バラ

なくなるトレードオフが考えられる．用途によって認識のンスが悪くなる楽曲も存在する．技術的難度とタブレット

時間ユニットの切り替える機能が考えられる．

端末という画面サイズや計算リソースの制約を考慮して，適切なパート設定については今後検討したい．

認識精度は弾き方（コードの抑え方）や歌い方に左右され，個人差が大きかった．認識誤りが起こりやすいコード

音楽内容表示については，ギター演奏・歌唱のいずれにがあるという指摘もあり，スキル向上に用いるにはまだ改おいても，手本として参考になると評価された．ただし，

善の余地があるものの，ゲーム感覚で楽しむには十分であ

今回利用した三曲ともに，自動解析誤りの修正がほぼ完全ると考えられる．また，リズムを認識できるとより楽しく，に完了したものであったので，手本に誤りが含まれる場合有益であるという意見を得られた．今後の課題としては，の評価は今後の課題である．また，ビート時刻・コード進ドラム演奏に関する認識機能の実装が考えられる．

© 2016 Information Processing Society of Japan102

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT012
2016/3/3

5. 関連研究
本章では伴奏音生成，音楽鑑賞・創作・演奏，音源分離の三つの観点から関連研究について述べる．

5.1 伴奏音生成
自動伴奏システムの歴史は古く，30 年前ほど前にはす
でに，伴奏パートの楽譜情報（MIDI データ）を使用する
自動伴奏システム [7, 8] が開発されている．Tekin ら [9] や図 9Songle の画面：楽曲の繰り返し構造・ビート時刻・コード進
行・歌声の音高がブラウザ上で可視化されている．

Pardo ら [10] は，一定の範囲内での弾き直しや弾き飛ばFig. 9 A screenshot of Songle: The repeated sections, beat

し，さらにはテンポの揺らぎに対応しながら伴奏を同期再times, chord progressions, and vocal pitches of music

生できる楽譜追従システムを提案している．最新の研究成

audio signals are visualized on the browser.

果として，中村ら [11, 12] は，任意箇所の弾き直し・任意箇所へのジャンプや，楽譜上には音符列が正確に定義され推定して可視化することでユーザが楽曲の要素をより深くていないトリルや分散和音に対しても頑健に追従できる自理解できるようになる Web サービス Songle を開発してい動伴奏システム Eurydice を開発している．

．吉井ら [16] は，音楽音響信号中に含まれるドラる（図 9）

上記のような MIDI データに基づく自動伴奏システムとムパートのみを，あたかも MIDI データを編集するかのごは異なり，高品質な伴奏の音楽音響信号をユーザの演奏にとく直感的にカスタマイズできるシステム Drumix を提案

同期させる試み [13,14] もなされているが，ピアノのようなしている．糸山ら [17] は，楽譜情報を利用する音源分離手

多声楽器の演奏追従は困難である．Mauch ら [6] は，ユー法を用いて，個別の楽器パートの音量をリアルタイムで調ザ演奏への追従機能はないものの，任意の音楽音響信号

節できるシステムを提案している．安良岡ら [18] は，音響から伴奏音（ドラムとベース）を生成する演奏支援システ

信号中の特定の楽器パートのフレーズを原曲の音色を保持

ム SongPrompter を提案している．具体的には，原曲中のしながら自由に編集できるシステムを提案している．深山

ビート時刻とベースの音高の自動推定を行い，MIDI 音源

ら [19] は，異なる音響信号中のコード進行の特徴を組み合を用いてドラムとベースのパートを合成している．また，わせて，新たなコード進行を生成することができるシステ

与えらえたコード付き歌詞は自動で音響信号と同期し，音ムを提案している．

楽に合わせて歌詞とコードをスクロール表示することで，ユーザの歌唱やギター演奏を支援する．

「音楽鑑賞・創作・演奏能力を拡張する」インタフェースも提案されている．例えば，Giraldo と Ramirez [20] は，提案するシステムは，原曲に含まれる高品質な伴奏音をブレインコンピュータインターフェースにより検出した脳再生できる点が特徴である．商用では，ユーザのギター演

活動データを用いて，リアルタイムで演奏表現を制御する奏をリアルタイムに認識できる音楽ゲーム（例：ubisoft 社

システムを提案している．Mancini ら [21] は，モバイルデRocksmith（据え置き型ゲーム機）
・Yousician 社 Yousician

バイスとセンサーによりユーザの動きを解析し，リアルタ（タブレット端末））や，ユーザの歌声の音高を認識できるイムでバーチャルオーケストラを操作するシステムを提案

カラオケの採点機能は存在するが，あらかじめ伴奏音や正している．Chandra ら [22] は，モバイルデバイスで動作

解データを準備しておく必要があった．提案するシステム

を検知し，ほとんど音楽経験のないユーザでもバンド演奏

では，任意の楽曲に対する伴奏音の生成と，ユーザの歌唱・できるシステムを提案している．都築ら [23] は，複数のカ

ギター演奏認識機能を統合した結果，臨場感のある音楽演

バー曲をマッシュアップすることで，コーラス作成を補助

奏を楽しむことができる．伴奏音再生速度は原曲のままでするシステムを提案している．

変化させることができないが，MIDI データに基づく従来

提案するシステムは，歌唱や楽器演奏の練習を支援するの自動伴奏システムのように，将来的には，ユーザの演奏ことが主目的であるが，2 章冒頭でも議論した通り，楽器に追従させるような拡張も可能であると考えられる．

パートの音量を制御するという観点では，能動的な音楽鑑賞であると解釈することもできる．一方，ユーザインタ

5.2 音楽鑑賞・創作・演奏

フェースについては，上記で紹介した従来研究と異なり，近年，能動的音楽鑑賞インタフェース [15] が盛んに研究標準的なものを採用している．操作に伴う効果は過去の経されている．
「能動的」であるとは，音楽に合わせて演奏す験から十分に予測可能であるものの，従来不可能だと思わるだけではなく，音楽再生中に任意の編集を加える（一種れていた領域へ「操作対象を拡張する」ことで（MIDI 信の創作）ような，音楽を聞いて楽しむ上でのあらゆる能動号の操作から音楽音響信号の操作へ），魔法を使っている的な体験も含む．例えば，後藤ら [3] は，音楽内容を自動かのような不思議なインタラクティブ体験を提供する．

© 2016 Information Processing Society of Japan103

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

5.3 音源分離

16INT012
2016/3/3

楽器音・打楽器音分離の二手法を組み合わせた音源分離を

近年，音楽音響信号の歌声・伴奏分離の進展は著しい．

行うことで，各楽器パートを任意の音量で再生することを

例えば，Raﬁi と Pardo [24] は，音楽スペクトログラム中の可能にした．さらに，歌唱練習やギター演奏の効果的なサ

各小区間の繰り返し構造に着目することで，歌声を分離す

ポートのために，Songle から取得したビート時刻・コードる手法 REPET を提案している．Liutkus ら [25] は，各時進行・歌声の音高を音楽再生に同期してスクロール表示す

間・周波数ビンにおける音源成分が，その音源固有の近接るとともに，ユーザの歌声の音高やギターのコードをリア

カーネルに従って定義される周囲のビンから推定できるとルタイムで推定することで，画面上に比較表示する．被験仮定することにより、REPET の考え方を一般化したカー者実験により，各機能の必要性や有用性，個人の趣向や用ネルベースモデリングを提案している．Huang ら [26, 27]

途に合わせて任意に各音源の音量を設定できることの有効は，教師ありまたは教師無しの歌声分離手法として，そ性を確認した．

れぞれロバスト主成分分析 (RPCA) および Deep Neural

今後は，DNN を用いてユーザ演奏の認識精度を改善する

Network (DNN) を利用する手法を提案している．歌声・とともに，テンポの揺らぎなどユーザの演奏に自動追従す

伴奏分離の改良のため，Raﬁi [28] らは REPET に基づく

る機能の開発を予定している．また，マイク 1 本でユーザ

歌声分離と歌声の音高推定を組み合わせる手法を提案してが弾き語り（歌唱＋ギター演奏）を行う場合には，歌声といる．同様に，RPCA と歌声の音高推定を組み合わせる手

ギター演奏をリアルタイムで分離しながら，歌声の音高推法が池宮ら [1] により提案されている．

定とギターのコード認識を同時に行う機能も必要である．

調波楽器音・打楽器音分離にもいくつもの試みがある．

現在，開発したアプリケーションを一般公開することを目

吉井ら [16, 29] は，テンプレート適応・マッチングに基づ指して，音源分離アルゴリズムをタブレット上で動作する

き，ドラムのオンセット時刻を検出し，ドラム音を抑制す

よう実装することに取り組んでいる．最近では，事前学習る手法を提案している．Gillet と Richard [30] は，時間・が必要であり，学習データへの過学習が懸念されるものの，

周波数部分空間マスクを推定し，ウィーナーフィルタを用運用時には従来手法の 100 倍以上高速に動作する DNN にいる手法を提案している．Rigaud ら [31] は，短時間フー

基づく歌声分離も研究が進んでおり，音源分離のリアルタ

リエ変換における振幅変化に対するパラメトリックモデル

イム実行も視野に入ってきている．

を用いて，多声音楽からドラム音を抽出する手法を提案している．宮本ら [32] は，スペクトログラム上での調波楽

謝辞 本研究の一部は，科研費 24220006，26700020，24700168

および OngaCREST プロジェクトの支援を受けた．

器音と打楽器音の成分の異方性に着目し，コスト関数最小化としての定式化を試みている．Fitzgerald ら [2] も同様

参考文献に，スペクトログラムの異方性に着目し，計算負荷の軽い[1]

メディアンフィルタを用いる手法を提案している．
提案システムでは，歌声分離のために，2014 年度の国際的な音楽解析コンテストである MIREX の歌声分離トラッ[2]

クで優勝した池宮らの手法 [1] を用いることにした．他の[3]最新手法と比較して計算時間も十分に早いうえ，その大部分は特異値分解に占められており，GPGPU など特殊ルーチンを用いた高速化が容易である．研究に用いたタブレッ[4]

ト端末である Nexus 9 では NVIDIA Tegra K1 を搭載しており，将来的には，実装の見直しにより，タブレット端末[5]

単体で解析から練習支援までスタンドアローンで動作できるようにすることを検討している．一方，打楽器音分離[6]に関しては，Fitzgerald らの手法 [2] を用いることにした．
スペクトルの異方性に基づく手法の分離精度は拮抗しており，採用手法は実装・計算時間・チューニングの容易さの[7]点で優れている．

[8]

6. おわりに[9]

本論文では歌声・調波楽器音・打楽器音分離とユーザ演奏のリアルタイム可視化に基づく音楽演奏練習システムについて述べた．本システムでは，歌声・伴奏音分離と調波© 2016 Information Processing Society of Japan[10]

Ikemiya, Y., Yoshii, K. and Itoyama, K.: Singing Voice
Analysis and Editing based on Mutually Dependent F0
Estimation and Source Separation, Proc. ICASSP, pp.
574–578 (2015).
Fitzgerald, D.: Harmonic/percussive separation using
median ﬁltering, Proc. DAFX, pp. 246–253 (2010).
後藤真孝，吉井和佳，藤原弘将，Mauch, M.，中野倫靖：Songle: ユーザが誤り訂正により貢献可能な能動的音楽鑑賞サービス，Proc. IPSJ Interaction, pp. 1363–1372(2012).
Hermes, D. J.: Measurement of pitch by subharmonicsummation, JASA, pp. 257–264 (1988).
中野倫靖，後藤真孝， 平賀譲：MiruSinger: 歌を 「歌って/聴いて/描いて」見る歌唱力向上支援インタフェース，
IPSJ Interaction, pp. 195–196 (2007).
Mauch, M., Fujihara, H. and Goto, M.: SongPrompter:
An accompaniment system based on the automatic alignment of lyrics and chords to audio, Proc. ISMIR, pp.
9–16 (2010).
Dannenberg, R. B.: An On-line Algorithm for Real-time
Accompaniment, Proc. ICMC, pp. 193–198 (1984).
Vercoe, B.: The Synthetic Performer in the Context ofLive Performance, Proc. ICMC, pp. 199–200 (1984).
Tekin, M. E., Anagnostopoulou, C. and Tomita, Y.: Towards an intelligent score following system: Handling of
mistakes and jumps encountered during piano practicing,
Proc. CMMR, pp. 211–219 (2005).
Pardo, B. and Birmingham, W.: Modeling form for on-104

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

[11]

[12]

[13]

[14]

[15]
[16]

[17]

[18]

[19]

[20]
[21]

[22]

[23]

[24]
[25]

[26]

[27]

[28]

line following of musical performances, Proc. Nat. Conf.
Artif. Intell, pp. 1018–1023 (2005).
中村栄太，武田晴登，山本龍一，齋藤康之，酒向慎司，嵯峨山茂樹：任意箇所への弾き直し・弾き飛ばしを含む演奏に追従可能な楽譜追跡と自動伴奏，情報処理学会論文
誌，pp. 1338–1349 (2013).
Nakamura, E., Cuvillier, P., Cont, A., Ono, N. andSagayama, S.: Autoregressive hidden semi-Markov
model of symbolic music performance for score following, Proc. ISMIR, pp. 392–398 (2015).
Raphael, C.: Music Plus One: A system for ﬂexible
and expressive musical accompaniment, Proc. ICMC,
pp. 159–162 (2001).
Cont, A.: ANTESCOFO: Anticipatory Synchronization
and Control of Interactive Parameters in Computer Music, Proc. ICMC, pp. 33–40 (2008).
Goto, M.: Active music listening interfaces based on signal processing, Proc. ICASSP, pp. 1441–1444 (2007).
Yoshii, K., Goto, M., Komatani, K., Ogata, T. andOkuno, H. G.: Drumix: An audio player with real-timedrum-part rearrangement functions for active music listening, IPSJ Journal, pp. 134–144 (2007).
Itoyama, K., Goto, M., Komatani, K., Ogata, T. andOkuno, H. G.: Instrument Equalizer for Query-byExample Retrieval: Improving Sound Source Separation
Based on Integrated Harmonic and Inharmonic Models.,
Proc. ISMIR, pp. 133–138 (2008).
Yasuraoka, N., Abe, T., Itoyama, K., Takahashi, T.,
Ogata, T. and Okuno, H. G.: Changing timbre andphrase in existing musical performances as you like: manipulations of single part using harmonic and inharmonicmodels, Proc. ACM Multimedia, pp. 203–212 (2009).
Fukayama, S. and Goto, M.: HarmonyMixer: Mixing
the Character of Chords among Polyphonic Audio, Proc.
ICMC-SMC, pp. 1503–1510 (2014).
Giraldo, S. and Ramirez, R.: Brain-activity-driven realtime music emotive control, Proc. ICME (2013).
Mancini, M., Camurri, A. and Volpe, G.: A system formobile music authoring and active listening, Proc. Entertainment Computing, pp. 205–212 (2013).
Chandra, A., Nymoen, K., Voldsund, A., Jensenius,
A. R., Glette, K. H. and Tørresen, J.: Enabling participants to play rhythmic solos within a group via auctions,
Proc. CMMR, pp. 674–689 (2012).
Tsuzuki, K., Nakano, T., Goto, M., Yamada, T. andMakino, S.: Unisoner: An Interactive Interface for
Derivative Chorus Creation from Various Singing Voiceson the Web, Proc. SMC (2014).
Raﬁi, Z. and Pardo, B.: Music/Voice Separation Using
the Similarity Matrix, Proc. ISMIR, pp. 583–588 (2012).
Liutkus, A., Fitzgerald, D., Raﬁi, Z., Pardo, B. and
Daudet, L.: Kernel Additive Models for source separation, IEEE Transactions on Signal Processing, Vol. 62,
No. 16, pp. 4298–4301 (2014).
Huang, P.-S., Kim, M., Hasegawa-Johnson, M. andSmaragdis, P.: Singing-voice separation from monaural
recordings using deep recurrent neural networks, Proc.
ISMIR (2014).
Huang, P.-S., Chen, S. D., Smaragdis, P. and HasegawaJohnson, M.: Singing-voice separation from monaural
recordings using robust principal component analysis,
Proc. ICASSP, pp. 57–60 (2012).
Raﬁi, Z., Duan, Z. and Pardo, B.: Combining rhythmbased and pitch-based methods for background andmelody separation, IEEE/ACM Transactions on Au-© 2016 Information Processing Society of Japan

16INT012
2016/3/3

[29]

[30]

[31]

[32]

dio, Speech, and Language Processing, pp. 1884–1893(2014).
Yoshii, K., Goto, M. and Okuno, H. G.: Drum soundrecognition for polyphonic audio signals by adaptationand matching of spectrogram templates with harmonic
structure suppression, IEEE Transactions on Audio,
Speech, and Language Processing, pp. 333–345 (2007).
Gillet, O. and Richard, G.: Transcription and separationof drum signals from polyphonic music, IEEE Transactions on Audio, Speech, and Language Processing, pp.
529–540 (2008).
Rigaud, F., Lagrange, M., Robel, A. and Peeters,
G.: Drum extraction from polyphonic music based ona spectro-temporal model of percussive sounds, Proc.
ICASSP, pp. 381–384 (2011).
宮本賢一，亀岡弘和，小野順貴，嵯峨山茂樹：スペクトロ
グラムの滑らかさの異方性に基づいた調波音・打楽器音の分離，日本音響学会秋季研究発表会講演集，pp. 903–904(2008).

105