ユーザによる VOCALOID 曲の歌唱のためのブレス位置推定1☆内藤 悟嗣（木更津高専），齋藤 佑樹，高道 慎之介（東大院・情報理工 ）齋藤 康之（木更津高専），猿渡 洋（東大院・情報理工 ）1. はじめに節間とその前後文節間の 3 つのスコアを入力として，当該文節間のブレス挿入の有無を推定する識別器を学習する．識別器には SVM（support vectormachine）を用いてブレス挿入が可能であれば (1)，そうでないのなら (0) と定義し学習をする．推定時には，スコアを学習済みの SVM へ与え，ブレス挿入の事後確率を計算し，一定値以上の事後確率を持つ文節間にブレスを挿入する．

VOCALOID [1] と は ヤ マ ハ が 開 発 し た 歌 声 合 成
技術であり，10 年以上もの歴史を持っている．現在 ，VOCALOID 曲 は 数 多 く の ユ ー ザ の 創 作 活 動に使用されている一方で，カラオケ楽曲として歌唱活動にも使用されている．しかしながら，歌声合成ではその性格上，作曲者が意図的にブレス音を挿入しない限り，楽曲中にブレス音が存在しない．そのため，ユーザが VOCALOID 曲を歌唱する際には，適切な位置にブレスを挿入する必要がある．この課題に対し，VOCALOID 楽曲の歌詞に自動的にブレス位置を付与できれば，ユーザ歌唱の支援になると考えられる．そこで本研究では機械学 習 を 用 い て VOCALOID 曲 の 適 切 な ブ レ ス 位 置を推定する 方 法と して ，言 語的・歌声 的情報に基づくブレス位置予測法を提案し，実験的評価でその効 果を検証する ．

2.3 歌声的特徴によるブレス位置推定
歌声的特徴によるブレスは，長い非歌唱区間に挿入される可能性がある．そのため，この挿入は，
2.2 節 の よ う な 意 味 論 的 分 断 と は 別 の 単 位 で 発 生すると考えられる．そこで，歌声から得られるス
ペクトログラムを用いて，モーラ単位の推定を行う．ま ず，ラ ベ リ ン グ さ れ た ブ レ ス が 挿 入 可 能 な
時 間 と 不 可 能 な 時 間 を 中 心 に 前 後 1 [sec] 間 の ス
ペクトログラムをそれぞれ算出する．そして，得ら れ た ス ペ ク ト ロ グ ラ ム を 入 力 と し て ，2.2 節 と同様にブレス挿入が可能であれば (1)，そうでないのなら (0) と定義し，2 値分類を CNN（convolutionneural network）を用いて学習する．損失関数は交差エントロピー誤差を用いる．
推定にはまず，歌詞と歌声の時間的対応付け（アライメント）は，音響モデルに基づく音素アライメントを行うことで獲得する．次に歌詞のそれぞれのモーラの発声開始時間をアライメントによって取得し，それらの前後 1 [sec] 間のスペクトログ
ラムを入力として学習済みの CNN へ与え，各モーラにおけるブレス挿入の事後確率を計算し，一定値以上の事後確率を持つモーラ間にブレスを挿入する．
2.4 言語・歌声情報を用いたブレス位置推定
2.2 節と 2.3 節の推定から各々得られる事後確率を 入 力 と し て ，新 た に ブ レ ス 挿 入 が 可 能 で あ れば (1)，そ う で な い な ら (0) と 定 義 し ，2 値 分 類 を
SVM を 用 い て 学 習 す る ．推 定 に は 学 習 時 と 同 様 ，2.2 節と 2.3 節の推定から得られる各々の確率を学
習済みの SVM へ与え，ブレス挿入が可能であれば(1)，そうでないなら (0) と推定する．この推定は，
2.3 節 と 同 様 に モ ー ラ 毎 に 行 わ れ る ．た だ し ，言語情報に基づく方法は文節毎，歌声情報に基づく方法はモーラ毎に行われるため，文節間に対応しないモーラ間の推定においては，言語情報に基づく事後確率を 0 とする．

2. 機械学習を用いたブレス位置推定
ブレス位置 はフ レーズ（ 楽曲的な まとまり）間に 位 置 す る 可 能 性 が 高 い [2]．ま た ，フ レ ー ズ はボーカルの言語的・歌声的特徴に関連すると予想され，それを言及する関連論文も存在する [3]．本
研究ではまず，VOCALOID 曲の歌詞と歌声を用意し，ブレス位 置を 付与す る ．その後 ，ブレス位置に お い て 言 語 的・歌 声 的 変 化 が 生 じ る と 仮 定 し ，所望の位置の言語的・音声的特徴量からブレス挿入の 有無を予測す る 統計モ デ ルを学習する．
2.1 データ セットの 作 成
ま ず，歌 詞 に 対 し て ブ レ ス 位 置 を 付 与 す る ．言語的に挿入可能なブレス位置は文節境界のみに存在すると仮定し，文節分割された歌詞の分割境界に対してブレス挿入の有無の 2 値ラベルをアノ テ ー ション す る ．本 ア ノ テ ー ション は 全 て 手 動で行う．作業者の違いによりブレス挿入基準が変わることを避けるために，単一の作業者で本アノテ ー ション を 実 施 す る ．次 に ，歌 声 デ ー タ を 作 成
す る た め に ，VOCALOID 曲 と そ の オ フ ボ ー カ ル版（ ボ ー カ ル の み を 含 ま な い ト ラック ）を 用 意 する．VOCALOID 曲の周波数振幅からオフボーカル版の周波数振幅を減算し，VOCALOID 曲の周波数位相を付与したものを歌声データとする．ここでは，歌詞と別途のブレス位置を付与する．具体的に は ，非 歌 唱 時 間 が 0.4 [sec] 以 上 の 箇 所 に ブ レ ス
挿入 のラベルを付 与 する．
2.2 言語的 特徴 による ブ レス位 置推定
ブレスは，歌詞の文節間での係り受けが起こりにくい場所に位置する．すなわち，文節に分割された歌詞が意味論的に分断される位置に挿入されると予想される．そこで，係り受け関係の強さを意味するスコア [4] を用いた推定を行う．まず，歌
詞 を 文 節 単 位 で 分 割 す る ．そ し て ，各々の 当 該 文

3. 実験的評価
3.1 実験条件
データセットとして，歌詞・VOCALOID 曲・オフボーカル版の楽曲 30 曲を piapro [5] から入手して用意 し た ．2.2 節 の 係 り 受 け 解 析 に は cabocha [4] を ，
2.3 節の音素アライメントには Julius segmentationkit [6] を用いた．2.2 節は SVM の非線形分類を用い1表 1 言語的特徴によるブレス位置推定の混同行列

正 解 結 果 \ 推 測 結 果 ブ レ ス あ り ブ レ ス な し Recall
ブレスあり
546393
0.581
ブレスなし
1045
1992
Precision
0.343-

表 2 歌声的特徴によるブレス位置推定の混同行列

正 解 結 果 \ 推 測 結 果 ブ レ ス あ り ブ レ ス な し Recall
ブレスあり
70133
0.345
ブレスなし
227
2559
Precision
0.236-

表 3 言語・歌声的特徴によるブレス位置推定の混同行列

図 1 CNN の構 造て，ハイパーパラメータの c は 7.563，γ は 9.784 とし た ．2.3 節 は CNN を 用 い た ．こ の CNN の 構 造
を 図 1 に 示 す．ハ イ パ ー パ ラ メ ー タ の バッチ サ イ
ズ は 10，epoch 数 は 10，オ プ ティマ イ ザ は 学 習 率が 0.001 の Adam [7] を用いた．2.4 節での SVM は線形分類を用いて，ハイパーパラメータの c は 1.512 とした．c（コストパラメータ）は誤分類をどの程度許容するかを示しており，値が小さいほど許容しやすくなる．γ は非線形カーネルパラメータを示しており，値が大きくなるほどクラスを分類する決定境界が複雑になる．また，これらのハイパー
パラ メータは実験 的 に決定 し た．

正 解 結 果 \ 推 測 結 果 ブ レ ス あ り ブ レ ス な し Recall
ブレスあり
137
210.867
ブレスなし
4842347
Precision
0.2206-

読み推定を実施したが，そこに多くの推定エラーが含 ま れ ，ア ライ メ ン ト の精 度 を 落 と して し まっていた．そのため，入力する歌詞はあらかじめ変換前と変換後を入力とする機構を用意することで 精 度 の 改 善 に つ な が る と 考 え ら れ る ．さ ら に ，segmentation-kit に含まれる音響モデルは話声から学習されているため，歌声の分析においてはアライメント精度が落ちてしまっていた．したがって，歌声に特化した音素アライメントの機構と置き換えることでも精度の改善につながると考えられる．

3.2 実験結 果
leave one out 法により曲の推定を行うとき，言語的特徴によるブレス位置推定の混同行列を表 1 に，歌声的特徴によるブレス位置推定の混同行列を
表 2 に，言語 的・歌声的特徴によるブレス位置推
定 の 混 同 行 列 を 表 3 に 示 す．こ こ で は ，事 後 確 率が 50.0 % 以上のときを (1)，50.0 % 未満を (0) とする．表 1 と表 2 を比較すると，言語的特徴の方が歌声的特徴よりも高い精度でブレス挿入位置を推定 で き る こ と が わ か る ．ま た ，表 3 よ り，言 語 的特徴・歌声的特徴の両方を用いたブレス位置推定の Accuracy（正解率）は 83.1 %，Recall（再現率）
は 86.7 % ，Precision（適合率）は 22.1 % という結果が得られた．再現率に比べ適合率が小さいことから，本研究の手法は，適切な位置にブレスを挿入できる一方で，不要な箇所にも挿入することが分か る．

5. おわりに
本研究は，ユーザによる VOCALOID 曲を歌唱する際のブレス位置推定を目的に，機械学習により適切なブレス位置を推定する手法の提案と検証をし た ．結 果 と し て 正 解 率 83.1 %，再 現 率 86.7 % ，適合率 22.1 %の精度で推定できた．
謝 辞： 本 研 究 は ，東 京 大 学 GAP ファン ド プ ロ グ ラ ム「音声合成技術の研究開発・商用利用を加速させる音声
コ ー パ ス の 設 計・構築 」，JSPS 科 研 費 17H00749 の 支 援を受けた．

参考文献[1] H. Kenmochi and H. Ohshita, “VOCALOID - commercial singing synthesizer based on sample concatenation,” in Proc. INTERSPEECH, Antwerp, Belgium, Aug. 2007, pp. 4011–4012.
[2] T. Nakano, M. Goto, J. Ogata, and Y. Hiraga,“Acoustic characteristics of breath sounds in solo vocal and their application to automatic breath detection,” in IPSJ, 2008, pp. 83–88.
[3] 中村 敏枝, “音楽における「間」と呼吸について,” inASJ, 1994, pp. 1–8.
[4] T. Kudo and Y. Matsumoto, “Japanese dependency
analysis using cascaded chunking,” in Proc. CoNLL,
2002, pp. 63–69.
[5] “piapro,” https://piapro.jp/.
[6] “Speech segmentation toolkit using Julius,” https://github.com/julius-speech/segmentation-kit.
[7] D. Kingma and B. Jimmy, “Adam: A method
for stochastic optimization,” in arXiv preprint
arXiv:1412.6980, 2014.

4. 検討事項
2.1 節において非歌唱区間が 0.4 [sec] 以上ある場
合にはブレスをする確率が高いと定義したが，本来人間が歌唱する際に発声間の時間が小さいな
ら短いブレス，発声間の時間が大きいなら長いブレスを入れているだろう．本研究ではブレスがあるか否かで 2 分類を行っていたため不自然なブレス で あった ．し た がって ，短 い ブ レ ス ，長 い ブ レス，ブレスなしの 3 値分類を行うことで自然なブレスを推定できると考えられる．また，音素アライメントの segmentation-kit を用いるためには，日本 語・英 語・記 号 混 じ り の 歌 詞 か ら 読 み を 適 切 に
推 定 す る 必 要 が あ る ．本 研 究 で は cabocha に よ る2