WISS2013

Unisoner: 同一楽曲を歌った異なる歌声を重ね合わせる合唱制作支援インタ
フェース
都築 圭太

中野 倫靖

後藤 真孝

山田 武志

牧野 昭二∗

概要. 本稿では，Web 上で公開されている「一つの曲を様々な歌手が歌った歌声」を複数重ね合わせて作られる合唱作品を対象とし，その制作と鑑賞を同時に実現できる合唱制作支援インタフェース Unisonerを提案する．従来，多様な楽曲を組み合わせて新たな作品を制作するインタフェースは提案されてきたが，同一楽曲の異なる歌声を重ね合わせる合唱作品のためのものはなかった．また，合唱作品を制作するために必要なソフトウェアやその操作は専門的で，伴奏音の抑制や波形に基づいた手作業での位置合わせが必要である等，制作の敷居が高かった．Unisoner は歌声の出現時刻と左右チャネルの音量比をマウス操作だけで指定でき，専門知識のないユーザでも手軽に合唱制作できる．ユーザはリアルタイムに生成される合唱を聴きながら，歌声を切り替えたり追加で重ね合わせたりするインタラクションによって合唱制作する．

1

はじめに

近年，様々なユーザが既存の楽曲を歌唱した音楽作品（以下，単に「歌声」と呼ぶ）が Web 上で多数公開されている．これによって，同一楽曲を多様な歌い回しや声質の歌声で音楽鑑賞できるようになり，これらを切り替えながら重ね合わせた合唱のような音楽作品（以下，単に「合唱」と呼ぶ）も制作されるようになった（図 1）．
合唱を制作するには，まず伴奏を抑制して個々の歌声を抽出する（カラオケ音源等を利用）．その後，それら複数の歌声波形の切り貼りや，左右チャネルの音量比調整など専門的で煩雑な手作業が必要となる．そのため，専門知識がない人の合唱制作は敷居が高い．もしこのような敷居を下げることができれば，誰でも合唱コンテンツの創作を楽しむことができる．さらに，それぞれの歌声が一つの作品であることから，手軽な合唱制作は音楽創作でありながら能動的な音楽鑑賞 [4] としての可能性も持つ．
そこで本稿では上記で述べたような手作業の一部を自動化するだけでなく，直感的な歌声の重ね合わせインタラクションが可能な合唱制作支援インタ
フェース Unisoner（ゆにぞな）を提案する．従来，複数の楽曲を対象としてそれらを連続的に再生するような音楽鑑賞インタフェース [5,7] や，楽曲をマッシュアップ（重ね合わせ）するインタフェース [1–3]は研究されてきたが，多様な歌声を重ねる合唱に着目したインタフェースはなかった．

∗Copyright is held by the author(s).
Keita Tsuzuki, 筑波大学大学院 システム情報工学研究科, Tomoyasu Nakano and Masataka Goto, 産業技術総合研究所 (AIST), Takeshi Yamada and Shoji Makino,
筑波大学 システム情報系

図 1. 歌声と合唱の派生関係．

2

手軽に合唱制作できる Unisoner

Unisoner の動作画面を図 2 に示す．Unisoner では個々の歌声をアイコンで表し (図 2 ⃝A )，それらをステージ上 (図 2 ⃝B ) に配置するインタラクションによって合唱を制作する．このような歌声アイコンは自動推定された歌手の性別に応じて色が異なる（男声が青，女声が赤）．ここで，歌声を切り替えたり，新たに重ねる歌声を追加したりといった時刻の指定を歌詞に基づいて行い，そのような時刻間をセクションと呼ぶ．ユーザはリアルタイムに生成される合唱を聴きながら，セクションを区切ったり歌声を配置したりすることで，合唱の制作を行う．
以降，そのような切り替え時刻の指定と歌声の配置について説明する．
歌詞に基づくセクションの指定
歌詞は楽曲中の時刻を一覧性高く把握するために有用な情報であるため，これを活用する．従来の時間を用いた時刻指定に比べて特定の箇所の再生がしやすく，効率が良い．インタフェース左側に表示されている歌詞 (図 2 ⃝C ) は「セクション分割ボタン」⃝(図 2 D ) によって分割できる．その区切り位置は歌WISS 2013

図 2. Unisoner の実行画面とインタラクションの流れ．ステージに女性の歌声と二人の男性の歌声を配置した例．

詞上に点線 (図 2 ⃝E ) として表され，マウスでドラッグ& ドロップすることでその位置を変更できる．
歌声アイコンのステージ上への配置

Unisoner ではセクション毎に配置する歌声や，それぞれの音量及び左右チャネルの音量比を，歌声アイコンのステージ上への配置によって決定する．
歌声アイコンは一覧 (図 2 ⃝F ) から選択し，マウス操作でステージ上へ配置するが，その際，選択を効率化するためのソート機能とフィルタリング機能を持つ (図 2 ⃝G )．歌手名（動画投稿者名で代用），再生数，マイリスト数，歌い回しと声質の近さに基づくソートと，歌手の性別とキー（相対的な差）によるフィルタリングが可能である．
ステージにおける前段後段は音量の大きさを表現し，前段の方が大きい．また，ステージの左右は左右チャネルの音量比に対応しており，例えば左方向へ動かすと左チャネルの音量が大きくなる．
Unisoner の実現方法
Unisoner を実現するためには同一楽曲（原曲）を歌った複数の歌声と，それら歌声から伴奏を抑制するために，伴奏音源との時刻合わせとキーの違いを自動推定する信号処理技術が必要である．これら信号処理の詳細は文献 [6] で説明している．現在の実装
では，歌声の性別はこのような信号処理結果によって，原曲の音高と比較してオクターブ異なっていた
場合は，原曲と異なる性別を付与した．例えば，原曲が女性でそれよりも 1 オクターブ低い音高の歌声は男性とした．オクターブ以外の異なり方をしていた場合は，近い性別を選択して付与した．
Unisoner はニコニコ動画1 において，最も多く歌
1

http://www.nicovideo.jp

われた一つの楽曲2 を対象として動作を確認しており，それ以外の楽曲に対しても運用可能である．こ
こでは歌声に加えて，再生数，マイリスト数，動画投稿者のユーザ名も活用する．

3

おわりに

本稿では合唱制作支援インタフェースを提案した．
今後は，それぞれの歌声の声質や歌い回しを可視化する等，創作に有益な情報を提示する機能の拡張を検討している．
謝辞
本研究の一部は，JST「OngaCREST プロジェクト」の支援を受けた．また，ニコニコ動画上の楽曲を扱う上で協力頂いた濱崎雅弘氏，石田啓介氏に感謝する．

参考文献[1] M. Davies, et al. AutoMashUpper: An Automatic
Multi-Song Mashup System. Proc. ISMIR 2013, 2013.
[2] N. Tokui. Massh!—A Web-based Collective Music
Mashup System. Proc. DIMEA 2008, 2008.
[3] 宮島. Music Mosaic Generator: 高精度時系列メタデー
タを利用した音楽リミックスシステム. WISS 2007 論
文集, 2007.
[4] 後藤. 音楽音響信号理解に基づく能動的音楽鑑賞インタ
フェース. 情処研報, 2007-MUS-96, 2007.
[5] 後藤 他. Musicream: 楽曲を流してくっつけて並べることのできる新たな音楽再生インタフェース. WISS 2004
論文集, 2004.
[6] 都築 他. 様々な歌手が同じ曲を歌った歌声の多様さを活用するシステム. 情処研報, 2013-MUS-100, 2013.
[7] 堀内 他. Song Surfing: 類似フレーズで音楽ライブラリを散策する音楽再生システム. PIONEER R&D, 17(2),2007.
2
ニコニコ動画における動画番号 sm15630734 を使用．2013
年 10 月現在，この楽曲に対して 5166 曲の歌声がある．