VocaListener: 事例を与えてインタラクティブに歌声合成できるメタ歌声合成インタフェース
中野倫

靖†

後藤孝†

真VocaListener: A Meta Singing Synthesis Interface
Based on Interactive Singing Synthesis Using Sung Examples
Tomoyasu Nakano† and Masataka Goto†

1. は じ め にA

歌声合成では、ユーザが歌唱の表現 (声質、歌い方)を思い通りに創出できることが望ましい。しかし、既存の歌声合成システム1) では、自分なりの表現で合B成させるために細かなパラメータ調整が必要で、しかCも、パラメータ調整の結果を他の音源 (合成の声質) にそのまま適用できない問題があった。そこで我々は、Dげるよう支援することを目指して研究を進めている。
本稿では、歌声合成のパラメータをユーザが歌うだけで調整でき、かつ、歌声合成条件を自由自在に切り替えながら歌声合成できるメタ歌声合成インタフェー
ス VocaListener を提案する。従来、ユーザの歌唱音声 (目標歌唱) を分析し、その結果を歌声合成パラメー
タとする研究はあった2) が、歌声合成条件の違いには対処できなかった。VocaListener は、目標歌唱と合成歌唱の分析結果が近づくように、パラメータを反復推定することで、歌声合成条件の違いを吸収できる。
さらに、目標歌唱を真似る歌声合成では、(1)

目標歌唱の分析結果に誤りが含まれると、合成音の聴取時に違和感を感じてしまう(2)

ユーザ自身が歌唱できない表現では合成できない (歌が不得手、音高が声域より高い場合など)の二つの問題点がある。そこで、違和感を感じた箇所を指摘するだけで訂正できる『ダメ出し』インタラクションと、ビブラートを強く・弱くという直観的操作で、自分好みの表現へ変更できる歌唱力補正機能を新たに提案する。
† 産業技術総合研究所
National Institute of Advanced Industrial Science andTechnology (AIST)

HGIJF

ユーザが歌声合成条件 (歌声合成システムやその音源データ) の違いに依存せず、「表現」の創出に全力を注E

図 1 VocaListener の表示画面。『ダメ出し』インタラクションにより、⃝B に音節境界候補が表示された例。

2. インタフェース概要
図 1 に VocaListener の画面例を示す。図の上部は、以下の 3 つのウィンドウで構成される。

• 楽譜ウィンドウ (図 1: ⃝)A
歌詞と共に、自動推定された音符列 (緑の長方形)と F0 軌跡 (赤: 目標歌唱、青: 合成歌唱) が表示される。縦軸は音の高さで、図中右端のスライダでその表示範囲を変更できる。

• アラインメントウィンドウ (図 1: ⃝)B
自動推定された歌詞アラインメント (目標歌唱と歌詞の時間的対応付け) の結果が表示される。

• パワーウィンドウ (図 1: ⃝)C
目標音量 (赤) および合成音量 (青) が表示される。
歌声合成は、図の下部の各種コントロール (ボタンなど) により、インタラクティブに行う。
᱌⹖⋡ᮡ᱌໒ᗐ䈇䉅㩷৻✜䈮

VocaListener

誤り訂正機能F0 、歌詞、歌詞アラインメント『ダメ出し』インタラクション޿߅䈍䉅䈇䉅㩷䈇䈚䉊䈮߽߽ ޿ߦߒࠂ「ここが間違っている」とダメ出しวᚑ᱌໒

歌唱力補正機能(目標歌唱を真似て合成)

歌声合成
音源 システム

図2

・外れた音程を補正
・音高を変える（例：オクターブ上げ）
・歌い方を変える

VocaListener による歌声合成

情報処理学会 インタラクション 2009

高調波構造を求める手法6) 、形態素解析器 MeCab7) 、3. VocaListener による歌声合成

歌詞同期で使われる Viterbi アラインメントを用いた。

図 2 に、VocaListener による歌声合成の流れを示す。以降、処理を手順ごとに説明する。

そして、歌声合成条件に依存しない歌声合成パラメータの推定は、目標歌唱だけでなく合成歌唱も分析

3.1 ステップ 1: 歌声合成条件の選択し、パラメータを反復推定することで実現した。

まず、合成に使用する歌声合成システムとその音源

さらに、誤った音節境界を訂正するために、新しいを選択する☆ 。現時点では、ヤマハ株式会社の開発し境界候補を自動選出する技術が必要がある。本稿では、

た歌声合成技術 Vocaloid / Vocaloid 2 のうち、日本

目標歌唱の MFCC 変動が大きく、目標歌唱と合成歌語歌詞の歌声を合成できるソフトウェアから選ぶ。

唱との MFCC 距離が小さい箇所を候補として選出し3.2 ステップ 2: 目標歌唱と歌詞の分析・誤り訂正た。また、ビブラート区間の検出には、F0 軌跡の 1

次に、目標歌唱とその歌詞テキスト (漢字仮名交じ次差分の短時間フーリエ変換によってビブラートらしり文) を指定する。歌声合成のための音高 (F0 )・音量推さを得る手法8) を用い、調子はずれ補正では、有声区定、歌詞のテキスト処理がなされ、音高と音量が⃝A⃝
C間毎に、半音単位に大きな重みを与える関数が F0 軌に、歌詞を発音系列 (平仮名) へ変換した結果が⃝G下跡と最も適合する値を補正値とした。

☆☆

部に、それぞれ表示される。F0 推定結果が誤っていた場合は、ドラッグで推定する時間・音高 (周波数) 範

5. お わ り に囲を指定すると自動的に正しく再推定される。また、歌声合成パラメータをユーザが歌って調整でき、イ発音系列の誤りはテキスト編集で簡単に訂正できる。

ンタラクティブに誤り訂正や歌唱力補正が行えるメタ3.3 ステップ 3: 歌詞アラインメント結果の誤り

歌声合成インタフェース VocaListener を提案した。

訂正 (『ダメ出し』インタラクション)

VocaListener を実装して運用した結果、音源を替え歌詞アラインメント結果に含まれる誤りを訂正する。ても常に同じ歌い方で合成できることを確認した☆☆☆ 。

まず、まれに比較的長い無音をまたいだ大きな対応付

また、推定結果が誤っていた場合、ユーザが専門的知け誤りが発生するので、そのおおよそ正しい時刻を指識を持っていなくても、誤り箇所を訂正できた。

定すると、自動的に正しく再推定される。次に、より今後は、誤りを全て『ダメ出し』のみで訂正できた

細かい音節境界誤りを訂正する (図 1)。誤っている箇

り、歌唱力の自動評価8) を組み合わせて「歌を作って所を指摘するだけで、可能性の高い新たな境界候補がいたら自分も歌が上手く」なれる、新しいインタラク自動生成されて表示されるので、選択するだけで簡単

ションの実現を目指す。に訂正できる。最後に、上記で半自動的に訂正できな

謝辞 本研究の一部は、科学技術振興機構 CrestMuseプロジェクトによる支援を受けた。

かった誤りを、音符位置や長さを微調整して訂正する。

参考文献

3.4 ステップ 4: 歌唱力補正
補正したい時間範囲をドラッグで指定し、3 種類の補正ができる。まず、「調子はずれ補正」では、音程がずれている箇所を自動補正して合成できる。次に、「歌唱スタイルの変更」では、ビブラート区間とそれ以外の区間の音高と音量を、別々に強調・抑制して補正でき、自分好みの表現で合成できる。最後に、「音高トランスポーズ」では、合成の声域を変え、ユーザが歌えない声域での歌唱も合成できる。

4. VocaListener の実現方法
まず、単独歌唱からの F0 推定技術、漢字仮名交じり文から発音系列を得る技術、歌詞アラインメント技術が必要である。それぞれ、入力信号中で最も優勢な☆

ただし、合成の過程で好きな時に変更することが可能である。

☆☆

Vocaloid 「KAITO」, 「MEIKO」3) 、Vocaloid 2 「初音ミク」, 「鏡音リン」, 「鏡音レン」4) 、「がくっぽいど」5) 。

[1] 剣持 他：歌声合成システム VOCALOID – 現状と課題，情処研報 (MUS)，Vol. 2008, No. 12, pp. 51–58 (2008).
[2] Janer, J.: Performance-Driven Control for SampleBased Singing Voice Synthesis, Proc. of DAFx-06, pp.
42–44 (2006).
[3] クリプトン：ソフト音源 (VOCALOID ENGINE)，
http://www.crypton.co.jp/mp/do/prod/vi/engine?id=10.
[4] クリプトン：VOCALOID2 特集，
http://www.crypton.co.jp/mp/pages/prod/vocaloid/.
[5] 株式会社インターネット：がくっぽいど，
http://www.ssw.co.jp/products/vocal/gackpoid/.
[6] 後藤 他：自然発話中の有声休止箇所のリアルタイム検出システ
ム，信学論，Vol. J83-D-II, No. 11, pp. 2330–2340 (2000).
[7]
工藤：MeCab: Yet Another Part-of-Speech and Morphological Analyzer, http://mecab.sourceforge.net/.
[8] 中野 他：楽譜情報を用いない歌唱力自動評価手法，情処学論，Vol. 48, No. 1, pp. 227–236 (2007).

☆☆☆

合成結果の具体例は、http://staﬀ.aist.go.jp/t.nakano/
VocaListener/index-j.html で聞くことができる。