情報処理学会第 84 回全国大会

1T-03

同一楽曲に対する多数の歌唱の音高推移分布および再生数の可視化
近藤芽衣†

伊藤 貴之†

中野 倫靖‡ 深山 覚‡ 濱崎

お茶の水女子大学†1雅弘‡

後藤 真孝‡

産業技術総合研究所‡

はじめに2 次創作やソーシャルメディア環境の普及にともない，自らの歌唱を録音・録画して動画共有サービスへ投稿する機会が増えた．その結果，同一楽曲を様々な歌唱者が歌った音源を，人々が鑑賞して楽しめるようになった現状がある．
このような歌唱群に対し，個々の歌唱者の癖や個性を理解するための一手段として我々は，それらの歌唱音響データからそれぞれの音高の推移を抽出し，その分布を可視化する手法を開発している．そのような手法の一つとして，本稿著者でもある伊藤らが提案した SingDistVis [1]は，音高および時刻を 2 軸とするヒストグラムによる可視化と，その局所部分をズームアップした折れ線表示での可視化により，音高の特徴的な分布の発見を支援する．折れ線表示には，サンプリングで同時に表示する本数を制御することでVisual Cluttering を防いでいる．
本報告では SingDistVis の応用として，ソーシャ
ルメディア上の再生数で各歌唱を色分けし，音高分布との関係を可視化した事例を報告する．

図 1 サンプリングによる折れ線の本数制御
2.1.2 基本周波数（F0）推定
Spleeter により分離した歌声から，音高として基本周波数（F0）を推定する．混合音から伴奏音を完全に除いて歌声分離するのは難しいため，F0 推定手法は耐雑音性に優れたものが望ましい．
そこで本研究では PYIN [3]を用いた．
2.2 SingDistVis による音高可視化
音高の可視化について，SingDistVis の処理手順を概説する．詳細は文献 [1]を参考にされたい．
2.2.1 音高データの表記
本章では歌唱集合𝑆を構成する各歌唱の音高推移を以下のように表記する．
S＝{𝑠% , 𝑠' , ⋯ , 𝑠) , ⋯ 𝑠* }𝑠) = -𝑒) , 𝑝)% , 𝑝)' , ⋯ 𝑝)0 , ⋯ 𝑝)1 2
ここで𝑠) は𝑖番目の歌唱の音高系列，𝐼は歌唱者の総数，𝑒) は𝑖番目の歌唱者の歌唱動画の再生数
2 処理手順に応じた評価係数である． 𝑝)0 は𝑖番目の歌唱者の本章では提案手法の各処理を手順に沿って示す． 𝑗番目の時刻における F0 値の対数，𝐽は F0 推定の
2.1 音楽音響信号からの歌声の音高推定
対象区間における標本化された時刻の総数（F0
多様な音源を可視化対象とするために，伴奏値の個数）である．なお休符に相当する無音部がミックスされた歌唱音源（混合音）を扱う．
分には，便宜上，F0 値の対数にゼロを代入した．
まず混合音から歌声のみを分離し，その分離さ現状の実装では評価係数𝑒) は 4 段階となっておれた歌唱音源から音高を推定する 2 段階の処理をり，最も再生数が低い歌唱群に𝑒) = 1を，最も再行うが，それぞれ以下の手法を用いた．
生数が高い歌唱群に𝑒) = 4を付与する．なお，原2.1.1 Spleeter による歌声分離曲にあたる歌唱には，他の歌唱と区別するため
U-Net 構造を持つ深層学習ベースの音源分離に𝑒) = 5を付与する．楽曲により評価係数を定め手法である Spleeter [2]を用いて，混合音から歌声る再生数の閾値は異なり，実行例では 5000 回再を分離する．入力音響データはステレオ MP3 形
生以上の歌唱に𝑒) = 4を付与している．
式，サンプリングレートは 44100Hz とする．
2.2.2 ヒストグラム画像の生成
本手法では，時刻を横軸，音高を縦軸とした長方形領域を設定し，これを格子状に分割する．
Visualization of the distribution of pitch transition and the𝑝)0 の各々が上述の格子構造のいずれの長方形領
number of views of many singings for the same song.
域に該当するかを算出し，各格子領域を通過し† Mei Kondo, Ochanomizu University† Takayuki Itoh, Ochanomizu University
た歌唱数から各格子領域の濃淡を算出すること‡ Tomoyasu Nakano, AIST
で，グレースケールのヒストグラム画像を生成‡ Satoru Fukayama, AISTする．
‡ Masahiro Hamasaki, AIST
‡ Masataka Goto, AIST

2-477

Copyright 2022 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 84 回全国大会ったことがわかる．

図 2 実行結果と 8 箇所のズームアップ画像
2.3 SingDistVis の拡張
SingDistVis の GUI におけるヒストグラム画像において，ユーザが指定した矩形領域に対応する音高推移を，折れ線の集合で表現する．この際 Visual Cluttering を防ぐために，同時に描画する折れ線の本数をサンプリングにより制御する．
これは，各折れ線𝑝)⋅ に対して，ユーザ指定のタイミングで再計算できる．一様乱数𝑧) (0.0 ≤ 𝑧) ≤1.0) を割り当て，以下を満たす場合のみ描画する．
𝛽BC 𝑧) > 𝑍FGHBI
ここで，𝛽BC は評価係数𝑒) に応じた係数，𝑍FGHBIは GUI スライダーで調整する閾値であり，いずれもユーザが調節可能なパラメータである．
図 1 は折れ線制御の図である．原曲にあたる折れ線は𝑍FGHBI がどの値をとっても消えることはな
い．また，本数を少なく設定すると，再生数の高い音源の折れ線のほうが画面に残りやすいように選択表示する．

図 3 サビ冒頭のズームアップ画像
図 3 では赤色の折れ線が再生数の高い歌唱，青色の折れ線が再生数の低い歌唱を示している．
特に赤色の歌唱について，ビブラート（周期的に音高を変動させる歌唱テクニック）とみられる音高の揺れを確認することができた．

4

まとめ

本報告では，多数の歌唱者による同一楽曲に対する伴奏付きの歌唱音源の音高推移分布と，それぞれの再生数を可視化した例を示した．多くの歌唱が原曲とは異なる音高推移を描いているケースや，サビでオクターブ下げて歌う歌唱者が複数見られるケースのほか，再生数の高い歌声と低い歌声では，ビブラートの有無など音高の変化に違いが見られた．
今後の展望として，ビブラートなどのボーカルテクニックを特徴量として抽出し，可視化画面への表示を加えることで，より詳細な分析を3 実行例可能としたい．また異なるキーで歌唱された同本手法による可視化の例を紹介する．プログ
一楽曲について，キーを合わせて可視化する機
ラミング環境は Java 1.12.0 および JOGL (Java能を追加予定である．また GUI 機能の拡充としbinding for OpenGL) 2.3.2 を用いた．実行例にはて，可視化画面からの音源再生機能や，ユーザ【初音ミク】 夜明けと蛍 【オリジナル】自身の歌唱を区別して表示する機能を追加する（ https://www.nicovideo.jp/watch/sm24892241 ） ことで，好きな歌唱を選んでそれを目標としての 67 人の歌唱を用い，再生数はニコニコ動画に歌唱を練習するための支援ツールを開発したい．
おける再生数を採用した．本報告では音響デー
タから Spleeter [2]の 2stem モデルを用いて音源を参考文献分離し，PYIN [3]を用いて推定した F0 を入力と
[1] 伊藤 貴之, 中野 倫靖, 深山 覚, 濱崎 雅弘, 後藤
した．可視化結果の画素数は𝑁 = 1000, 𝑀 = 480
真孝, SingDistVis:多数の歌声から歌い方の傾とし，対象となる周波数を 110Hz～1760Hz（オク向を可視化できるインタフェース, ソフトウ
ターブ表記付き音名で A1 から A5）の 4 オクターェア科学会 WISS 2021 論文集, 94, pp.1-8, 2021.
ブとした．
[2] R. Hennequin, A. Khlif, F. Voituret, M.
Moussallam, Spleeter: A Fast and Efficient Music
図 2 は音高推移分布をヒストグラム画像としてSource Separation Tool With Pre-trained Models,
表示した例とその中で 8 箇所をズームアップし表Journal of Open Source Software, 5(50):2154,示した例である．グレースケールで黒に近い箇
2020. doi: 10.21105/joss.02154.
所では，同じような音高推移の歌唱が多いこと[3] M. Mauch, S. Dixon, PYIN: A fundamental freを意味する．例えば，図中の緑枠（１）では音
quency estimator using probabilistic threshold
高推移が二つに分かれていることが分かるが，distributions, Proc. ICASSP 2014, pp. 659-663,
各遷移が同じ濃さであることから，サビに入っ2014.てから音高を 1 オクターブ低く歌唱した人も多か

2-478

Copyright 2022 Information Processing Society of Japan.
All Rights Reserved.