Vol.2017-MUS-116 No.4
2017/8/24

情報処理学会研究報告
IPSJ SIG Technical Report

既存歌唱曲アレンジのための歌声キーボード
尾島 優太1,a) 中野 倫靖3,b) 深山 覚3,c) 加藤 淳3,d)
後藤 真孝3,e) 糸山 克寿1,f) 吉井 和佳2,g)

概要：本稿では，MIDI キーボードを用いて既存楽曲中の歌声を編集し，メロディの変更やハモリパート・輪唱パートの追加を可能にする歌声キーボードを提案する．このシステムでは元パートの歌詞を保存してピッチやリズムをリアルタイムで操作できるためライブパフォーマンスに用いることができ，歌手に指示して自分の好みに合うように歌ってもらっているかのような体験をもたらす．具体的には，ユーザは MIDI
キーボードを用いて好みのメロディを演奏する．楽曲中の歌声パートは音符に対応した短い区間に事前に分割され，演奏モードに応じて各区間がユーザのキーボード操作に割り当てられ，ユーザのキーボード操
作に応じて音高及び音長が変化する．このシステムの実現にあたり，歌声分離，歌声パートの分割，ユー
ザの演奏と分割区間の対応付け，リアルタイムピッチシフトが必要である．このうち対応付けについては，
意図通りの編集が行われるように三種類のアルゴリズムを用意することで対処した．被験者実験の結果，提案システムの有効性が示された．

1. はじめに音楽の楽しみ方には受動的なものだけでなく，既存楽曲のアレンジや演奏といった能動的なものも存在する．既存楽曲をアレンジすることで，音楽中の任意のパートを好みِ٦‫חؠ‬䲿爙ׁ‫׷׸‬歗꬗

のメロディやリズムパターンに差し替えることが可能である．今日では多くの人が既存楽曲をアレンジして演奏した
動画を YouTube などの動画共有サービスに投稿している．
これまでに，既存楽曲のアレンジシステムはいくつか提.*%*‫ؗ‬٦‫ن‬٦‫س‬

案されている [1,2]．これらは楽曲中の楽器パートのアレンジを可能にするシステムである．楽器パートと同様に，歌図 1

提案システムの使用例．編集対象楽曲に含まれるオリジナル

唱曲中の歌声パートのアレンジも考えられる．実際に多くの歌声パートが画面に表示され，ユーザは MIDI キーボードのアマチュアが「歌ってみた」と題して，既存楽曲のボーを用いてそれを編集する．

カルカバーを YouTube などの動画投稿サービスに投稿し事前に歌詞情報及び音高情報を用意する必要があるが，任ている*1 ．一方，十分な歌唱力がない場合は，歌声パート

意の楽曲を編集対象とする場合，これらの情報を手に入れアレンジの実現のためには VOCALOID のような歌声合成

るのは必ずしも容易ではない．

システムを利用する必要がある．このようなシステムでは

本稿では，既存楽曲中から抽出された歌声パートを直接操作することで，事前情報なしでリアルタイムに歌声パー

1
2
3
a)
b)
c)
d)
e)
f)
g)
*1

京都大学 大学院情報学研究科
京都大学/理研 AIP
産業技術総合研究所
ojima@sap.ist.i.kyoto-u.ac.jp
t.nakano@aist.go.jp
s.fukayama@aist.go.jp
jun.kato@aist.go.jp
m.goto@aist.go.jp
itoyama@kuis.kyoto-u.ac.jp
yoshii@kuis.kyoto-u.ac.jp
YouTube では 400 万を超える数の「歌ってみた」動画が投稿されている

c 2017 Information Processing Society of Japan⃝

トを編集することができる歌声キーボードシステムを提案する．抽出されたオリジナルの歌声を利用することには，

2 つの利点がある．1 つ目は歌詞を用意せずとも歌声アレンジが可能であるという点であり，2 つ目はアレンジの後もオリジナルの歌手の個人性が残るという点である．歌手の個人性が残ることで，まるでユーザの指示通りにオリジ
ナルの歌手が歌っているかのような体験をもたらす．提案
システムにおけるアレンジとして，音高の変化とオンセッ

1Vol.2017-MUS-116 No.4
2017/8/24

情報処理学会研究報告
IPSJ SIG Technical Report荈歋箟刼ٌ٦‫س‬ؔٔ‫ךٕشآ‬姏㈖‫ػ‬٦‫ز‬was姏㈖‫ػ‬٦‫ךز‬‫ؾ‬،‫ٗظ‬٦ٕ

was

love

to

born

‫ثحؾ‬箟꧊ٌ٦‫س‬born箟刼䖓‫ך‬‫ؾ‬،‫ٗظ‬٦ٕ

I

to

born

to

I

was

love
you

was

you

㔐‫ؗך‬٦乼⡲‫ח‬‫ظךא‬٦‫׶ⶴ׾ز‬䔲‫ג‬wasِ٦‫ךؠ‬‫ؗ‬٦‫ن‬٦‫س‬乼⡲

図 2

love

to

I

you

I

born

知僒箟꧊ٌ٦‫س‬
to

love
you

I

love

⼱갈ⴓ♴ָ‫׷‬youI‫ָ׫ךثحؾ‬㢌⻉

born

was

㛇彊⦼p

born

to

love
you

⼱갈♴٦

3 つの対応付けアルゴリズムの概要．吹き出しは音符に割り当てられた歌詞を表す．自由編曲モードではユーザのキー操作毎に，音符が 1 つずつ曲の頭から順に割り当てられる．ピッチ編集モードでは音高のみが変化し，オンセット・オフセット時刻は変化しな
い．簡易編集モードではユーザはオリジナルのメロディからの相対的な音高変化を指定することで音高を編集する．

ト・オフセット時刻の変化を扱う．そのため，提案システ

研究が存在する．Goto ら [5] は Songle と呼ばれるウェブ

ムではユーザが音高，オンセット時刻及び音長を同時かつサービスを提供し，任意の楽曲の音楽構造や拍構造，メロ

直感的に操作できるようにする必要があり，ユーザイン

ディ，コードを可視化することで，音楽鑑賞体験をより豊

タフェースとしては MIDI キーボードを用いる．これによかなものにした．Mauch ら [6] は Song Prompter と呼ばれり，ピアノを演奏しているかのように歌声編集を行うこと

るインターフェースを提案した．このインタフェースは，が可能になる．

事前の楽譜準備やアラインメントを必要とせずに，楽曲

このシステムを実現するために，歌声パートの推定及び構造・コード・歌詞を演奏に合わせて可視化する．Nakra

音符の可視化，音符とユーザが演奏したキーの適切な対応

ら [7] はインタラクティブな指揮システムを実装した．こ付け，リアルタイムピッチシフトの 3 つの課題に取り組むのシステムでは，ユーザは Wii リモコンを用いてオーケス必要がある．1 つ目の課題を解決するために，まずロバス

トラのテンポ及び音量の時間変化を制御することができる．

ト主成分分析（RPCA）を用いて楽曲から歌声パートの F0

一方，提案システムは音楽生成システムとしての側面も軌跡を抽出し [3]，隠れマルコフモデルを用いて F0 軌跡の持つ．音楽生成支援システムもこれまで複数提案されてい背後に存在する音符列を推定する [4]．2 つ目の課題を解決

る．Simon ら [8] は与えられたメロディに対して和声付けするために，提案システムでは 3 つの対応付けアルゴリズを行うシステムを提案した．このシステムにより，音楽理

ムを用意する（図 2）．ユーザは編集意図に応じ，これらの論や作曲法に詳しくないユーザも容易に作曲に挑戦する

アルゴリズムをパフォーマンス中に切り替えることが可能

ことができるようになった．McVicar ら [9] は入力としてである．3 つ目の課題を解決するために，実時間で動くア

与えられたコード列に対し，ギターのタブ譜を出力するシルゴリズムであるピッチ同期波形重畳法（PSOLA）を用

ステムを提案した．このシステムでは事前に教師データをいる．楽曲のアレンジは MIDI キーボードを通してリアル使ってコード列とタブ譜の関係を学習するため，出力されタイムに行われるため，DJ が曲を演奏するのと同様，ラるタブ譜は教師データと似たスタイルのものとなる．そのイブパフォーマンスとして提案システムを用いることが可ため，教師データの背後に存在する個人性を反映したタブ

能である．

譜の生成が可能である．音楽生成支援の一環として，ハー2. 関連研究モニーパートを生成する手法も提案されている．Yi ら [10]はメロディが与えられたときに 4 つの声部を自動生成する

本章では，提案システムの様々な側面から，関連する研手法を提案した．Dannenberg ら [11] はコンピュータとの究を紹介する．まず音楽アプリケーションの関連研究を紹

協調パフォーマンスについて研究した．この研究では音楽介した後，音楽アレンジに関連した研究を紹介する．本章に合わせて演奏することができるコンピュータ演奏者を用の最後で，提案システムの実現に深く関連する信号処理手

意することで，音楽家とコンピュータが協調してパフォー法を紹介する．

マンスを行うことを目的としている．

2.1 音楽アプリケーション

動伴奏システムと捉えることもできる．そのような伴奏シ提案システムはユーザが生成した歌声パートに対する自提案システムは歌声パートの可視化及び一部メロディのステムもいくつか提案されている．伴奏システムの実現の置き換えの点で，能動的音楽鑑賞を支援するシステムであために，Dannenberg [12] が演奏におけるミスを考慮した，るといえる．能動的音楽鑑賞について，すでにいくつかの入力楽譜とソロパフォーマンスのアラインメントアルゴリ

c 2017 Information Processing Society of Japan⃝2

Vol.2017-MUS-116 No.4
2017/8/24

情報処理学会研究報告
IPSJ SIG Technical Report

ズムを提案し，これを用いたリアルタイム伴奏生成システ
ムを設計した．Cont [13] も自動伴奏システムを提案している．このシステムでは隠れマルコフモデルと隠れセミマ΍ ‫ظ‬٦‫ ز‬Ύ 如‫ةך‬٦‫ظزح؜‬٦‫ ز‬Α 怴㤈ٌ٦‫س‬Ώ ⯋‫דثحؾך‬怴㤈ׁ‫ظ׋׸‬٦‫ ز‬Β 劤勻‫ؔך‬ٝ‫زحإ‬儗ⵟΐ ‫زؿءثحؾ‬䖓‫ظך‬٦‫ز‬Γ 怴㤈儗꟦ Δ 乼⡲ׁ‫꒲׋׸‬湍Γ

ルコフモデルのハイブリッドモデルを用い，入力として与Α΍

えられた音響信号と楽譜から，楽譜上での演奏位置及びテンポの動的変化を推定する．

Ύ

2.2 既存楽曲のアレンジシステム
Β

既存楽曲をアレンジするためのシステムはこれまで数多く提案されている [1, 2, 14]．Yasuraoka ら [2] は楽曲と楽曲中の任意の楽器のパート譜を入力として，その楽器の音Ώ色及びフレーズを置換する音楽アレンジシステムを提案しΐた．このシステムでは対象となる楽器音を楽曲から抽出す

図 3

Δ

提案システムのスクリーンショット．それぞれの音符は画面るために音色モデルを用いており，ユーザは置き換えたい

上部から下方向に移動し，状態に応じて色が変化する．現在のフレーズを事前に楽譜の形式で指定する．Tsuzuki ら [15]対応付けアルゴリズムは右上に表示されており，ユーザが押しは既存楽曲の歌声パートを利用してマッシュアップを作た鍵盤に対応する列は緑色に変化する．

成するシステムを提案した．このシステムでは複数歌手が列を推定する試みも存在する．音符推定の目的は，連続的歌った同一楽曲から歌声パートをそれぞれ抽出し，1 つのな F0 軌跡から半音単位で離散化された音高を推定するこ

伴奏音に抽出された歌声パートを重ね合わせることでマッとである．Songle [5] では，音高の離散化は一定のビート

シュアップを作成する．

区間（8 分音符など）ごとに多数決法に基いて行われる．

リアルタイムで楽曲の楽器パートをアレンジするためのLaaksonen ら [18] は入力として与えられたコード列と音システムもいくつか提案されている．Yoshii ら [1] はドラ

響信号に基づき楽譜を推定する手法を提案している．まムパートのアレンジシステムを提案した．このシステムでた，Ryynänen ら [19] は 1 つの音符に対して内部状態（ビはドラム音認識とビートトラッキングを用いることで，ドブラート，オーバーシュートなど）の遷移を隠れマルコフ

ラムパートの音量，音色及びドラムパターンをリアルタイ

モデルを用いて推定し，その情報を用いて音符推定を行う

ムで編集することが可能である．Yamamoto ら [14] は即手法を提案した．Nishikimi ら [4] は，音符列から F0 軌跡

興ライブパフォーマンスのための歌声合成ユーザインタが生成される過程をベイジアン隠れマルコフモデルを用いフェースを提案している．このインタフェースでは事前にて定式化した．

歌詞情報を与えることで，リアルタイムでの歌声合成が可

2.3.3 ピッチシフトアルゴリズム

能である．

ピッチシフトは音楽アレンジにおいて重要な要素であり，多くの研究がなされてきた [20]．時間領域においては，

2.3 信号処理手法
本節では，歌声伴奏音分離，F0 軌跡からの音符推定及びピッチを変化させずに音長を変化させるタイムストレッチの後，得られた波形を圧縮または伸長することでピッチシ

ピッチシフトの手法についてそれぞれ概観する．

フトを実現する．タイムストレッチ部分については多くの

2.3.1 音源分離

アルゴリズムが存在するが，最も単純なものが Roucos ら

歌声伴奏音分離に関する研究はこれまでに広く行われてにより報告されている [21]．この手法ではまず，互いに重いる [3, 16, 17]．Rafii ら [16] は繰り返し構造抽出法を提案

なり合うように，波形を一定の長さ毎に分割する．その後している．この手法では伴奏音が繰り返し構造を持ち，歌それらをずらして再配置し，窓関数をかけて足し合わせる声パートが繰り返し構造を持たない点に着目し，それを利ことでタイムストレッチを実現する．Hamon ら [22] はこ

用して歌声を抽出する．Huang ら [17] はロバスト主成分の手法を，ピッチ情報を使えるように拡張した．具体的に分析（RPCA）を用いて歌声分離を実現した．この分離法

は，波形の分割の際の分割長を元の音高に応じて変化させ，

では伴奏音の持つ繰り返し構造を低ランク成分，歌声パー

再配置の際には分割区間の一部を複製または破棄すること

トをスパース成分としてモデル化する．Ikemiya ら [3] はでタイムストレッチを実現する．

歌声分離と F0 推定の間の相互依存関係に着目し，RPCAと歌声音高推定手法を統一的な枠組みで扱うことで高精度な歌声分離を可能にした．

2.3.2 F0 軌跡に基づく音符推定与えられた F0 軌跡に基いて，その背後に存在する音符

c 2017 Information Processing Society of Japan
⃝

3. ユーザインタフェース
本章では，提案システムの詳細及びユーザインタフェー
スについて述べる（図 3）．3.1 節で提案システムがもたらすユーザ体験について説明し，3.2 節でユーザインタフェー

3Vol.2017-MUS-116 No.4
2017/8/24

情報処理学会研究報告
IPSJ SIG Technical Report

スの詳細について述べる．

て，指定した幅だけピッチシフトされる（例えばユーザ
が E4 の鍵盤を操作した場合，ターゲットノートのピッ

3.1 提案システムの概要

チは 4 半音分上がる）．

本稿では MIDI キーボードを用い，まるで楽器を演奏す

これらの 3 つの演奏モードは様々なアレンジ意図に対応るかのように歌声パートを操作することが可能な歌声アレするため用意されている．ユーザが歌声パート全てを自分

ンジシステムを提案する．本システムにより，の好みに合うように操作したい場合，自由編曲モードが適• オリジナル歌声パートのメロディを好みのメロディに差している．一方で，歌声パートの一部のみを編集したい場
合や，タイミングを変化させたくない場合には，変化させし替え• ハモリパートの追加

る必要のない音に対しては操作が不要である，ピッチ編集• 輪唱パートの追加

モードや簡易編集モードが適している．また，典型的なハといったアレンジが可能になる．これらのアレンジの際

モリパートは主旋律からの相対位置が一定（3 度下など）でに，ユーザは歌声パートの音高，オンセット時刻及び音長あり，オンセット時刻や音長はオリジナルの歌声パートかを同時に変化させる．直感的にこの操作を行うため，本シら変化しないものが多いため，ハモリパートの追加には簡

ステムでは MIDI キーボードをユーザインタフェースとし易編集モードが適している．演奏モードは演奏中に MIDIて採用した．そのため，ピアノ演奏が可能なユーザが本シキーボードを通して動的に切り替えることが可能であり，ステムの対象である．

提案システムにより異なるアレンジを統一的に扱える．

本システムでは，歌声パートはピッチの切り替わり毎にさらに，提案システムではオリジナルの歌声パートの必分割され，各分割区間がユーザにより操作される．以降，要性に応じて，そのオンオフを切り替えることができる．

本稿ではこの分割された区間を「ノート」と呼ぶ．MIDI

これにより，ハモリパートや輪唱パートを加える際にはオキーボードの鍵盤が演奏されると，まずシステムはそのリジナルの歌声パートを同時に再生し，フレーズを差し替

キーボード操作の対象となるノートを決定する．以降，本

えたい際にはオリジナルの歌声パートを鳴らさないよう

稿ではこの操作対象ノートを「ターゲットノート」と呼ぶ．

にするといった使い方ができる．これも MIDI キーボード

その後，ユーザのキーボード操作に応じてターゲットノー

を通して演奏中に動的に切り替えることが可能である．まトの音高及び音長が変更される．ターゲットノート決定のた，ユーザは画面を注視するため MIDI キーボード以外の際のアルゴリズムとして，本システムでは「自由編曲モー装置を操作する余裕がないと考えられる．そこで楽曲の一ド」，「ピッチ編集モード」，「簡易編集モード」の 3 つの演時停止及び再生の操作も MIDI キーボードを通して可能と奏モードを用意する（図 2）．

し，全ての操作を MIDI キーボード上で完結させている．

自由編曲モード

まだ演奏されていないノートのうち，オンセット時刻が最も早いものがターゲットノートとして割り当てられる．ターゲットノートはユーザが演奏した

3.2 画面設計
ユーザに提示される画面が満たすべき条件として，以下

鍵盤の音高へとピッチシフトされる．全てのノートに対の 3 点が挙げられる．

してキーボード操作が必要であるが，ユーザはオンセッ• オリジナル歌声パートの音高及び音長が一目で直感的に

ト時刻，音高，音長の全てを操作することができる．
ピッチ編集モード オリジナルの歌声パートのオンセット
時刻及び音長は変化せず，音高のみが変化する．そのため，ターゲットノートとして割り当てられるのはユーザ分かる形式で表示されている• ユーザの操作が即時に可視化される• ユーザが鍵盤操作の結果を，実際に操作する前に予測することができる

がキーボード操作をしたタイミングでオリジナルの歌声

1 つ目の条件は，ユーザがアレンジの際にオリジナル歌声

パート中に存在するノートである．このモードでは音符パートを参考にするために必要である．2 つ目の条件は，の途中でのピッチ変更も可能である．自由編曲モードとユーザがアレンジをスムーズかつ快適に行うために必要で同様，ターゲットノートはユーザが演奏した鍵盤の音高

ある．3 つ目の条件は，ユーザがリアルタイムで思い通りへとピッチシフトされる．また，1 つの鍵盤を押しっぱにアレンジを行うために必要である．

なしにすることで，連続した複数のノートに対して同じ音高を割り当てることが可能である．

本システムにおける画面はこれらの条件を満たすように設計された（図 3）．1 つ目の条件を満たすため，画面上

ターゲットノートはピッチ編集モードとにおいて，MIDI キーボードと同じく水平方向がピッチを同様に決定されるが，このモードではピッチシフト幅を，表し，MIDI キーボードの白鍵，黒鍵に応じて各音高を表C4 の鍵盤から見たユーザが演奏した鍵盤の相対位置によす領域は白または灰色で表すように設計した．また，C4

り指定する．ターゲットノートは元のピッチを基準とし（MIDI ノートナンバー 60）を表す領域は赤色で示し，オ

簡易編集モードc 2017 Information Processing Society of Japan⃝4

Vol.2017-MUS-116 No.4
2017/8/24

情報処理学会研究報告
IPSJ SIG Technical Report

⵸Ⳣ椚鿇

Ⰵ⸂嚂刼
"

⯋‫ך‬岚䕎

姏㡮⠵㤈갈ⴓꨄ
‫ؽ‬٦‫ز‬儗ⵟ䞔㜠岚䕎‫׃⳿׶ⴖך‬ ⱄꂁ縧 ‫ثحٖزأي؎ة‬

姏㡮
갈痗䱿㹀

#

ِ٦‫ؗךؠ‬٦‫ن‬٦‫س‬乼⡲‫ظ‬٦‫ز‬‫ظ‬٦‫ز‬儗ⵟ䞔㜠$‫ة‬٦‫ظزح؜‬٦‫ךز‬寸㹀
‫زؿءثحؾ‬醱醡ꅾ‫⼒׋׏ז‬꟦‫ך‬駈‫׃‬さ‫ׇ׻‬⯋‫ך‬ꞿׁ‫ח‬⠼簭 ‫زؿءثحؾ‬

⠵㤈갈

図4

陖꬗

箟꧊ׁ‫׋׸‬갈怴㤈鿇‫زؿءثحؾ‬䖓‫ך‬岚䕎

提案システムの全体像．青文字がシステムに対する入力を，赤文字がシステムの出力をそれぞれ表す．

図 5

PSOLA アルゴリズムの概要．波形を周期の 2 倍の長さを持つ窓関数により分割し，再配置することでタイムストレッチをクターブについても一目で分かるように設計した．オリジ実現する．その後，元の長さになるように圧縮または伸長するナル歌声パートに含まれるノートは，この領域内を画面上ことでピッチシフトを実現する．

部から下方向に移動する黒色の矩形で表される．このデザインは既存の音楽ゲームと類似したものであり，ユーザはを用いる．この手法は歌声を分離するだけでなく，後の処直感的に画面の情報を理解することができる．

理に必要な情報である F0 軌跡も推定する．この手法では2 つ目の条件を満たすため，ユーザが操作した鍵盤の音

入力音楽スペクトログラムに対し RPCA を適用し，低ラ高の領域は明るい緑色に変化する．また，ユーザが演奏しンク行列とスパース行列の和の形で表現する．このうちスたノートの色は水色または茶色へと変化する．このようなパース成分のみをバイナリマスクで取り出すことで歌声が色の変化により，ユーザは鍵盤操作の結果や自分が操作し卓越した信号のスペクトログラムを得る．続いて，得られた鍵盤を，手元を見ることなく理解することができる．

たスペクトログラムに対し Subharmonic Summation を用

3 つ目の条件を満たすため，ユーザが次に鍵盤操作をしいて最尤の歌声 F0 軌跡を推定する．その後推定された F0

たときにターゲットノートとして割り当てられるノートの及びその倍音の周波数のエネルギーを通過させる調波マス

色はオレンジで表示される．これを確認することで，意図クを生成し，先のバイナリマスクと統合して入力スペクト

しない操作を防ぐことができる．

ログラムに適用することで，歌声スペクトログラムと伴奏

オリジナル歌声パートのピッチの幅は曲によって変化するため，画面に表示される音高の数はその曲の歌声パート

音スペクトログラムを得る．これらからボーカル音と伴奏音を合成する．

に含まれる最高音と最低音に応じて決定される．また，現在の再生時間は，画面上部でシークバーの形式で表示される．

4. システム実装

4.2 F0 軌跡に基づく音符推定
音高推定（図 4 中 B）については錦見らによる音符推定
手法 [4] を用いる．この手法では，歌声の背後に存在する楽譜から F0 軌跡が生成される過程をモデル化し，F0 を観測

本章では，システムにおいて用いられた信号処理技術にとした隠れマルコフモデルを用いて音符系列をベイズ推定

ついて述べる．図 4 に示すように，提案システムは「前処する．事前に拍情報を与えることで，16 分音符単位，半音

理部」，「演奏部」の 2 つの部分に大別される．前処理部で単位での音高推定が可能である．これにより，各ノートのは歌声伴奏音分離により歌声を楽曲から抽出した後，抽出

音高とノート時刻情報を求める．推定情報を用いて，ユー

歌声の F0 軌跡に対し音符推定を行うことでピッチの切りザに提示される画面とノート毎に分割された歌声を得る．

替わりのタイミングを推定する．その後，推定されたタイ
ミングで歌声が分割される．演奏部では歌声がユーザの鍵
盤操作に合わせて必要に応じてピッチシフトされ，再合成される．

4.3 ピッチシフト
ユーザの操作した鍵盤に対してターゲットノートが割り当てられた後，操作に応じてターゲットノートがピッチシフトされる（図 4 中 C）．2.3.3 節で述べたように，ピッチ

4.1 歌声伴奏音分離
歌声の分離（図 4 中 A）には Ikemiya ら [3] による手法

c 2017 Information Processing Society of Japan⃝

シフトについてはいくつかのアルゴリズムが提案されている．本システムでは，PSOLA アルゴリズム（図 5）を用い

5Vol.2017-MUS-116 No.4
2017/8/24

情報処理学会研究報告
IPSJ SIG Technical Report

た．このアルゴリズムは実時間で動く単純なアルゴリズム
であり，推定された音高情報を用いるため，より単純なア
ルゴリズムである SOLA よりも音質が向上する．このアルゴリズムでは，推定された音高から求まる周期の 2 倍の長荈歋箟刼ٌ٦‫כس‬⢪ְ‫׋׏ַׅװ‬‫ثحؾ‬箟꧊ٌ٦‫כس‬⢪ְ‫׋׏ַׅװ‬知僒箟꧊ٌ٦‫כس‬⢪ְ‫׋׏ַׅװ‬歗꬗邌爙‫׋׏ַׅװ׶ַⴓכ‬さを持つ窓関数を用いて，対象となる波形を分割する．その後，必要に応じて一部の分割区間を複製または無視して再配置することにより，タイムストレッチを実現する．この再配置の際には，隣り合う区間の一部を重ね合わせ，窓関数をかけて足し合わせる．こうしてタイムストレッチさ箟꧊䖓‫ך‬姏鑁‫׾‬耀ֹ《‫׋ֹדָהֿ׷‬‫כثحؾ‬䙼‫׋׏‬鸐‫ח׶‬㢌⻉‫׋׃‬‫ך׉‬姏䩛‫כׁ׃׵‬箟꧊䖓‫׮‬婍‫׋ְג׏‬

図 6


や㹀








肤㹀























































提案システムの評価結果．数字は対応する評価（肯定：とてもれた波形を元の長さに圧縮または伸長することで，ピッチ

そう思う，否定：全くそう思わない）を与えた被験者の数を

シフトを実現する．

表す．

5. 評価実験

モリパートの生成を試みた．自由編曲モードでは，被験者は時々自分がどこを演奏しているか見失っている様子が見本章では，提案システムの有効性を評価するために行った被験者実験について述べる．

られた．被験者によるシステムの評価結果を図 6 に示す．
この結果から，ピッチ編集モードが被験者の間で人気があったことが分かる．また，簡易編集モードは最も高く評

5.1 実験条件

価されることが多かった．一方，自由編曲モードは操作の4 人の被験者を対象に被験者実験を行った．被験者はい

難しさがあり，評価が最も低かった．信号処理に関しては，

ずれも 5 年以上のピアノ演奏歴を持つ学生（男性 3 人，女性

ピッチはユーザの意図通りに変化しており，ピッチシフト

1 人）である．アレンジ対象として，RWC 音楽データベー

後も歌詞は認識可能であることがわかった．一方で，ピッス（ポピュラー音楽）の RWC-MDB-P-2001 No.7 [23] を用チシフト後には歌手の個人性は失われていることが示されいた．なお，被験者には対象楽曲を事前に聞いてもらっている．被験者には実験前にチュートリアルとして，著者の1 人が実際にシステムを使う様子を見てもらった．その後，被験者がシステムを使う様子を観察し，被験者にはシステ
ムの機能性，ユーザインタフェース，信号処理の 3 つの観点から感想を述べてもらった．さらに，以下に示す評価項目について，5 段階のリッカート尺度（全くそう思わない，た．被験者からは，以下に示すような意見が得られた．
まず機能面に関しては，• 歌声を楽器のように演奏している感覚があった• 自らの鍵盤操作で，楽曲を音やリズムを外した歌唱に変化させることができて楽しい• 編集モードはスムーズに切り替えることができた

そう思わない，どちらともいえない，そう思う，とてもそ• このシステムはピアノの練習に役立ちそうな気がするう思う）で被験者に評価してもらった．

• 簡易編集モードはグリッサンドやビブラートといった( 1 ) 自由編曲モードは使いやすかった( 2 ) ピッチ編集モードは使いやすかった( 3 ) 簡易編集モードは使いやすかった( 4 ) 画面表示は分かりやすかった( 5 ) 編集後の歌詞を聞き取ることができた( 6 ) ピッチは思った通りに変化した( 7 ) その歌手らしさは編集後も残っていた表現付けに役立ったという意見が得られた．これらの意見から，提案システムの歌声キーボードとしての有効性が示された．
ユーザインタフェースに関しては，• 演奏速度が早いため，初見では適切な編集を行うことが難しく，十分な練習が必要である• 画面とキーボードが 2 つに分かれているので違和感があり，1 つのデバイス上で完結したほうが良い

評価の際には，画面に表示するノートとして，正解データ

といった意見が得られた．初見演奏での難しさは通常のピに基いて生成したものを用いた．最後に，正解データでは

アノ演奏と同様の難しさであるとの補足意見も得られた．

なく F0 軌跡から推定されたノートを画面に表示して被験

信号処理技術に関しては，者にシステムを使ってもらい，ノートの推定精度がどの程• ピッチシフトで音質が著しく悪化することがある

度パフォーマンスに影響するかを確認した．

• 推定されたノートを用いると，聴こえた音と提示された楽譜の間に齟齬が生じて気持ち悪い

5.2 実験結果
実験において，被験者はシステム上の複数の編集モード
を試しており，最も使われていたのはピッチ編集モードであった．また，多くの被験者が簡易編集モードを用いてハc 2017 Information Processing Society of Japan⃝といった感想が得られた．前者は歌声 F0 がゆらぎを含む
ことが原因であり，後者は，推定結果を用いたノートに歌声として推定された伴奏音の情報が一部含まれることが原因であると考えられる．

6

Vol.2017-MUS-116 No.4
2017/8/24

情報処理学会研究報告
IPSJ SIG Technical Report

5.3 考察得られた意見から，提案システムには，システムを使い[2]こなすために必要な練習量，ピッチシフト後の音質，編集機能の十分性の 3 点において改善の余地があることが判明した．1 点目に関しては，タブレットなどのタッチスクリー
ンを持つデバイスを入力デバイスとして用いて画面と操[3]作デバイスを統合することで，使いやすさを向上することを計画している．デバイスの統合により，ユーザは画面と[4]

キーボードといった 2 つの異なるデバイスに注意を払う必要がなくなり，手元に集中できるため，編集がより容易に[5]行えるようになると考えられる．2 点目に関しては，短時間フーリエ変換により，時間周波数領域において，フェー[6]

ズボコーダなどを用いての信号処理を考えている．時間周波数領域では歌声に含まれるスペクトル包絡が推定可能であり，それにより元の歌手の個人性を保存したままピッチシフトを実現できる可能性がある．さらにこの改善によ

[7]
[8]

り，編集後の歌声がよりはっきりとする可能性もある．3点目に関しては，音量を変化する機能や 2 つ以上のノートを同時に操作する機能の追加を検討している．

[9]

6. まとめ本稿ではリアルタイムに歌声を編集することができるラ
イブパフォーマンスシステムを提案した．被験者実験の結

[10]
[11]

果から，提案システムは，キーボードを通して，歌声を楽器を演奏するかのように操作しているような体験をもたら[12]すことが示された．一方で，画面とキーボードが統合されていないため，慣れるまでシステムを使うのは難しいこと[13]が判明した．そのため，今後はタブレットのような入力と画面が統合されたデバイスを用いる予定である．また，音[14]

質についても，フェーズボコーダのような他の信号処理技[15]

術を試し，改善を試みる予定である．さらに，アレンジメ
ント機能を拡張し，伴奏パートやドラムパートについても歌声パートと同様にアレンジできるように機能を拡張したいと考えている．この種の拡張は楽曲の構成要素を再配置

[16]
[17]

するといった新たなユーザ体験をもたらすと考えられる．
実際にこの種の編曲は電子オルガンにより部分的に実現さ[18]れているが，元の楽曲中の要素をそのまま用いるという点において大きく異なるシステムである．
謝辞

[19]

本 研 究 の 一 部 は JST CREST，JST ACCEL

No.JPMJAC1602，JSPS 科 研 費 24220006，26700020，[20]26280089，16H01744，16J05486 の支援を受けた．本研究[21]

では RWC 研究用音楽データベース（ポピュラー音楽）を
使用した。

[22]

参考文献

[23]

[1]

Yoshii, K. et al.: Drumix: An audio player with real-timedrum-part rearrangement functions for active music listening, Trans. of IPSJ, Vol. 48, No. 3, pp. 1229–1239

c 2017 Information Processing Society of Japan⃝(2007).
Yasuraoka, N. et al.: Changing timbre and phrase in existing musical performances as you like: manipulationsof single part using harmonic and inharmonic models,The 17th ACM Int. Conf. on Multimedia, pp. 203–212(2009).
Ikemiya, Y. et al.: Singing voice analysis and editing
based on mutually dependent F0 estimation and source
separation, ICASSP, pp. 574–578 (2015).
Nishikimi, R. et al.: Musical note estimation for F0 trajectories of singing voices based on a Bayesian semi-beatsynchronous HMM, ISMIR, pp. 461–467 (2016).
Goto, M. et al.: Songle: A Web Service for Active Music
Listening Improved by User Contributions, ISMIR, pp.
311–316 (2011).
Mauch, M. et al.: Song Prompter: An accompaniment
system based on the automatic alignment of lyrics andchords to audio, Late-breaking session at the 10th ISMIR (2010).
Nakra, T. M. et al.: The UBS Virtual Maestro: an Interactive Conducting System, NIME, pp. 250–255 (2009).
Simon, I. et al.: MySong: automatic accompaniment
generation for vocal melodies, The SIGCHI Conf. on
Human Factors in Computing Systems, pp. 725–734(2008).
McVicar, M. et al.: AutoRhythmGuitar: Computeraided composition for rhythm guitar in the tab space,
Joint ICMC and SMC Conf. (2014).
Yi, L. et al.: Automatic Generation of Four-part Harmony, UAI Applications Workshop (2007).
Dannenberg, R. B. et al.: Human-computer music performance: From synchronized accompaniment to musicalpartner, SMC (2013).
Dannenberg, R. B.: An on-line algorithm for real-timeaccompaniment, ICMC, pp. 193–198 (1984).
Cont, A.: A coupled duration-focused architecture forreal-time music-to-score alignment, IEEE Trans. on
PAMI, Vol. 32, No. 6, pp. 974–987 (2010).
Yamamoto, K. et al.: LiVo: Sing a Song with a Vowel
Keyboard, JIP, Vol. 24, No. 3, pp. 460–468 (2016).
Tsuzuki, K. et al.: Unisoner: An interactive interface forderivative chorus creation from various singing voices on
the web, ICMC, pp. 790–797 (2014).
Rafii, Z. et al.: Music/Voice Separation Using the Similarity Matrix, ISMIR, pp. 583–588 (2012).
Huang, P.-S. et al.: Singing-voice separation frommonaural recordings using robust principal component
analysis, ICASSP, pp. 57–60 (2012).
Laaksonen, A.: Automatic Melody Transcription basedon Chord Transcription, ISMIR, pp. 119–124 (2014).
Ryynänen, M. P. et al.: Automatic transcription of
melody, bass line, and chords in polyphonic music, Computer Music Journal, Vol. 32, No. 3, pp. 72–86 (2008).
Udo, Z. et al.: DAFX - Digital Audio Eﬀects, Wiley(2002).
Roucos, S. et al.: High quality time-scale modification
for speech, ICASSP, pp. 493–496 (1985).
Hamon, C. et al.: A diphone synthesis system based ontime-domain prosodic modifications of speech, ICASSP,
pp. 238–241 (1989).
Goto, M. et al.: RWC music database: popular, classic,
and jazz music databases, ISMIR, pp. 287–288 (2002).

7