Vol.2021-MUS-132 No.5
2021/9/16

情報処理学会研究報告
IPSJ SIG Technical Report

同一楽曲に対する多数の歌唱の基本周波数分布のマルチスケール可視化伊藤 貴之1,a)

中野 倫靖2,b)

深山 覚2,c)

濱崎 雅弘2,d)

後藤 真孝2,e)

概要：2 次創作の流行や歌声情報処理の発達により，多数の歌唱者が同一の楽曲を歌った音源を耳にする機会が増えた．このような歌唱群の傾向を理解する一手段として我々は，同一楽曲に対する多数の歌唱群の音響データから抽出された音高（基本周波数：F0）の推移を可視化する手法を開発している．本報告ではその続報として，楽曲全体・声域全体にわたる概略的な分布を示す画面と，その中の局所をズームアップした画面の組み合わせによって，歌唱群の F0 推移の全体的傾向および局所的傾向を表現するマルチス
ケールな可視化手法を提案する．本報告では 1000 人の歌唱者による同一楽曲の歌唱と，その各歌唱に対す
る 5 段階評価結果を可視化した事例を示し，本手法の有用性を検証する．

1. はじめに一楽曲の特定の瞬間の F0 に個人差が見られた際に，意図的な歌唱技法として F0 をずらしているのか，技量不足や近年の 2 次創作の流行や歌声情報処理の発達にともな練習不足により意図せずに F0 がずれているのか，といっい，同一楽曲に対する多数の歌唱を耳にする機会が増えてた点を解釈するには分析者の理解や判断が必要な場合があいる．このような多数の歌唱データの分析・比較は学術的る．そこで我々は，分析者が主観的・定性的に歌唱データにも興味深い．例えば，多数の歌唱者による同一楽曲の歌を観察するための可視化手法の開発に着手している [4, 5]．

唱を比較することで，どのような癖や個性を有する歌唱者

可視化は大規模なデータの理解の目的で多用されており，が多い傾向にあるか，楽譜上の音高（基本周波数：以下 F0

本研究の問題設定である「多数の歌唱データの理解」にもと称する）からどのようにずれた表現をする歌唱者が多い

合致している．また鑑賞するのに一定の時間を要する音楽傾向にあるかを分析できる [1]．また，高評価な歌唱者とのようなデータをより短時間で理解できるという意味にお低評価な歌唱者の歌唱を比較することで，高評価な歌唱にいて，可視化は歌声の F0 を分析する際に有用な手段であはどのような表現がよく見られるか，といった議論も可能

る．時系列データに対する汎用的な可視化手法は従来からになる．あるいは歌声合成による歌唱データの場合には，多数研究されており，これを歌唱データの分析に適用する

どのような表現手段を用いているデータが多いか，あるいことも可能である．

はどのような表現手段を用いている歌唱が注目される傾向にあるか，といったパターンを分析できる．

F0 の推移は一種の時系列データとして捉えることがで

本報告では「Overview+Detail」[6] という可視化デザインに沿って，以下の 2 画面

Overview: 楽曲全体・歌唱声域全体にわたる概略的なきる．時系列データの分類や特徴検出には従来から多数の

F0 分布をグレースケール画像で表現する画面．

研究がなされており [2, 3]，それらを適用することで歌唱

Detail: 数ヘルツ単位の細かい F0 分布，数秒単位の局所の違いや逸脱を検出することは可能である．一方で歌唱の的な F0 分布を折れ線の集合で表現する画面．

分析には主観的な解釈を要する場面もあり得る．例えば同に沿ったマルチスケールな可視化手法を提案する．
図 1 に本研究が想定する提案手法の操作手順を示す．

1

2

a)
b)
c)
d)
e)

お茶の水女子大学
東京都文京区大塚 2-1-1
産業技術総合研究所
茨城県つくば市梅園 1-1-1
itot@is.ocha.ac.jp
t.nakano@aist.go.jp
s.fukayama@aist.go.jp
masahiro.hamasaki@aist.go.jp
m.goto@aist.go.jpⓒ 2021 Information Processing Society of Japan

ユーザはまず Overview 画面から例えば，あえて異なる音階で発声している歌唱者がいるフレーズや，幅広い周波数帯域に分散して歌唱が分布するフレーズが，楽曲全体の中でどのように存在しているかを観察する．その上で画面中の興味ある矩形領域を指定すると，Detail 画面にてその中に分布する歌唱群の微細な F0 分布や，歌唱評価との関係

1Vol.2021-MUS-132 No.5
2021/9/16

情報処理学会研究報告
IPSJ SIG Technical Report(1) Overview: 楽曲全体・歌唱声域全体にわたる概略的なF0分布を表示••

あえて異なる音階をとる歌唱者がいるフレーズの発見
幅広い周波数帯域に歌唱が分散するフレーズの発見※多くの歌唱者の音高に対応する音階名の表示※評価の高い（または低い）歌唱者群のF0の分散を赤・青の帯で表示※評価の高い（または低い）
歌唱のF0の推移を
赤・青の折れ線で表示(2) Detail: 数秒間の局所的なF0分布を表示••(3) 特定の楽曲者の楽曲全体のF0推移を表示

微細なF0の分布の観察
歌唱評価とF0変化の関係の観察

図 1 提案手法のスナップショットおよび想定する操作手順．提案手法ではまず (1) に示す

Overview 画面にて，楽曲全体・歌唱声域全体にわたる F0 分布をヒートマップで表示する．ここからユーザが特定の矩形領域を指定すると，(2) に示す Detail 画面にて，矩形領域に該当する歌唱者の F0 遷移を折れ線で表示する．赤い折れ線は高評価を，青い折れ線は低評価を示している．ここから特定の折れ線を指定すると，Overview 画面にて当該歌唱者の F0 遷移を楽曲全体にわたって折れ線で表示する．

を観察できる．さらに，ここで特定の歌唱を指定すると，

2.2 F0 推移の可視化

Overview 画面にてその歌唱者の楽曲全体の F0 推移を表示

演奏データにおける F0 推移の分析や観察に可視化を用いすることで，その歌唱者の楽曲全体にわたる傾向を観察でた研究事例には，Nakano ら [10] の MiruSinger，Shiraishi ら

きる．

[11] の HAMOKARA，Moschos ら [12] の FONASKEIN，

本手法では各歌唱について一定時刻ごとに推定した F0

Mayor ら [13] の歌唱採点手法などがあげられる．複数のの集合を時系列データとする．Overview では，横軸を時

歌唱を対象とした可視化の事例として，Nakano ら [14] の刻・縦軸を周波数の対数値とする格子から生成した 2 次元

VocaReﬁner は複数の歌唱録音の編集により楽曲を制作す

ヒストグラムをグレースケール画像として表示する．このるための対話的環境を構築しており，この中で F0 の可視

Overview から矩形領域を指定すると，Detail ではその矩化も採用している．

形領域内部に該当する F0 推移を折れ線の集合で表現する．

他には，演奏情報の中から F0 およびその時間推移の適本報告では 1000 人の歌唱者による同一楽曲の F0 分布を

切な同定を支援するための可視化 [15,16] や，周波数情報か可視化した例を示し，その有効性を検証する．

2. 関連研究2.1 多数の歌唱データの活用ら推察される調性の可視化 [17] などの事例がある．また，
歌唱の F0 推移から歌唱スタイルを理解するために可視化を用いる手法として，F0 とダイナミクスを 2 軸とした可視化 [18] や，F0 と F0 差分を 2 軸とした可視化 [19] が報同一楽曲に対する多数の歌唱データがあれば，歌唱技法

告されている．Wilkins ら [7] による歌唱技法の同定結果の傾向を分析することが可能になる．この点に着目した研はスペクトログラムとして可視化されている．また Weiβ究の例として Wilkins ら [7] は，20 人のプロ歌唱者によるら [20] は，録音された合唱のイントネーション品質を測定

10 時間以上の歌唱録音データベースを構築し，ビブラートするために顕著性の高い周波数群を可視化している．

やトリルといった歌唱技法を分析した結果を示している．

これらの研究に対して我々の研究 [4, 5] は，数百人・数

また，同一楽曲に対する多数の歌唱を活用した 2 次創作

千人単位の多数の歌唱データを一画面に可視化するためにによって，合唱や輪唱などの新しい作品を制作することがOverview+Detail 型の可視化手法を導入する，という点でできる．歌唱作品の制作環境の一例として都築ら [8, 9] は，独自性を有する．

そうした同一楽曲に対する複数歌唱を組み合わせて合唱作品を制作する過程を支援するツールを提案している．

2.3 時系列データの可視化
歌唱の F0 の推移は時系列データとして扱うことが可能ⓒ 2021 Information Processing Society of Japan2

Vol.2021-MUS-132 No.5
2021/9/16

情報処理学会研究報告
IPSJ SIG Technical Reportである．n 個の標本がそれぞれ m 個の時刻における実数値を有する時系列データがあるとすると，以下の 3 種類の可視化手法の適用が可能である．

( 1 ) 一方の座標軸に m 個の時刻，他方の座標軸に実数値を割り当てた折れ線グラフ [21–23] や散布図 [23]．

( 2 ) (1) の折れ線や点群を密度関数に置き換えて，密度を各画素の明度や色相に変換したヒートマップで表現したもの．時刻と実数値を 2 軸とした空間でのヒートマッ

3. F0 分布の可視化
3.1 前提となるデータ：F0 と歌唱評価結果
本章では歌唱者集合 S を構成する各歌唱者の F0 推移およびその評価を以下のように表記する．

S = {s1 , s2 , ..., sn }si = {pi1 , pi2 , ..., pim , ei }(1)プという意味ではスペクトログラムに近い視覚表現で

ここで si は i 番目の歌唱者による歌唱の F0 系列，n は歌ある．

唱者の総数，pij は i 番目の歌唱者の j 番目の時刻における( 3 ) 一方の座標軸に m 個の時刻，他方の座標軸に n 個のF0 の対数，ei は i 番目の歌唱者への評価値，m は F0 推定

標本を割り当てたマトリクスに対して，実数値を各画の対象区間における標本化された時刻の総数（各 F0 系列

素の明度・色相 [24, 25] あるいは線分の太さ [26] で表の F0 の個数）である．なお休符に相当する無音部分には，現したもの．

便宜上，F0 の対数にゼロを代入した．

近年では時系列データのための各種の可視化手法に関す

なお本研究では，全ての歌唱が同じ長さ・同じタイミン

る主観比較評価 [27] や類似度認知実験 [28] も発表されてグで収録された上で，同一の時刻における F0 を推定するいる。我々も本研究の Overview 画面に関する先行研究 [4]ことを前提としている．この前提が成立しないデータが与にて、上記の 3 種類の可視化手法を試行した結果を比較えられた際には，DP マッチング等による歌唱間の F0 系

し，その問題点を指摘している．(1) に示した折れ線グラ

列のアライメントが前処理として必要である．

フや散布図には，画面上の描画物の過密状態が引き起こす

Visual Cluttering と呼ばれる視認性の低下が避けられない．一方で (3) に示したヒートマップでは，可視化結果か

3.2 F0 分布の性質と本研究が想定するタスク
本研究が扱う F0 分布の性質を以下の通り，時間分布と

らのデータ読み取りにおいて色の識別能力は高くない [29]周波数分布にわけて考察する．

ことが実用上の問題となる．以上により本研究では (2) に

時間分布: 歌唱の F0 は楽譜に沿って分布する．よって楽示す「密度関数のヒートマップ」を Overview 画面に採用

曲全体にわたる F0 分布を可視化することで，楽曲のしている．一方で Detail 画面においては表示対象となる折進行と F0 分布の関係を観察できる．また音符 1 個単れ線の本数が限定的であり，Visual Clutter の影響が小さ

位，あるいはもっと細かい数ミリ秒単位の F0 分布をいことから，本研究では (1) に示す折れ線グラフを採用し可視化することで，特定の音階と F0 分布の関係や，ビている．

ブラートやオーバーシュートといった歌唱技法と F0

時系列データの分析では大局的な時間変化と局所的な時分布の関係を観察できる．つまり F0 分布の可視化は間変化の両方に注視すべき事例が多い．そのため，大局的

時間軸に対してマルチスケールな問題であると考えらな表現と局所的な表現を組合せたマルチスケールな可視化れる．

手法の適用が有用な場面が多い．このような考えにもとづ

周波数分布: 歌唱の周波数は音階に沿って分布する．よっく可視化デザインは既に多くの研究に採用されており，以て歌唱音域全体にわたる周波数分布を可視化すること

下のように大別される．

で，あえて異なる音階で発声している歌唱者がいるフ( 1 ) 時系列データを構成する同一の変数値・属性値に対レーズの発見や，幅広い周波数帯域に分散して歌唱がして同一の視覚表現を適用したマルチスケール可視

分布するフレーズの発見が可能になる．一方で，各瞬化 [30, 31]．

間における旋律本来の音階周辺の数ヘルツ単位の周波( 2 ) 時系列データを構成する同一の変数値・属性値に対し数帯域に着目することで，歌唱者ごとの細かい F0 の差て視覚表現を切り替えて適用したマルチスケール可を観察できる．つまり F0 分布の可視化は周波数軸に視化．

対してもマルチスケールな問題であると考えられる．

( 3 ) 時系列データを構成する別々の変数値・属性値に対し以上の考察にもとづき本報告では，「Overview」「Detail」て視覚表現を切り替えて適用したマルチスケール可視の 2 画面から構成される可視化により以下のタスクを支援

化 [32, 33]．

する手法を提案する．

これらの手法の中で本手法は，上記の (2) の考えに沿っOverview: あえて異なる音階で発声している歌唱者がいて，「F0」という同一の変数値に対して，大局的な表現にはるフレーズや，幅広い周波数帯域に分散して歌唱が分

ヒートマップ，局所的な表現には折れ線グラフ，という異布するフレーズが，楽曲全体の中でどのように存在しなる表現を適用して歌唱分布を表現した点に特徴がある．

ているかを観察する．そして注目に値するフレーズのⓒ 2021 Information Processing Society of Japan3

Vol.2021-MUS-132 No.5
2021/9/16

情報処理学会研究報告
IPSJ SIG Technical Report

F0 分布を対話操作によって指定し，Detail にて表示
させる．

α=1.0, γ=0.2

α=1.0, γ=0.4

α=3.0, γ=0.2

α=3.0, γ=0.4

α=5.0, γ=0.2

α=5.0, γ=0.4

Detail: 楽曲中の数秒単位の短時間を対象として，歌唱者間の数ヘルツ単位の微小な F0 の差異や，その分布と歌唱評価との関係を観察する．そして注目に値する
特定の歌唱者を対話操作によって指定し，その歌唱者の楽曲全体にわたる F0 推移を Overview にて表示させる．

3.3 Overview：ヒートマップ上でのインタラクション

図 2

α および γ の調節に対する可視化結果の変化．

3.3.1 ヒートマップの生成
Overview では F0 推移の密度分布をヒートマップで表現
概要画面する [4]．このヒートマップでは、時刻を横軸，周波数の高音対数を縦軸とした長方形領域を設定し，これを格子状に分割する．歌唱の開始時刻および終了時刻をそれぞれ tstart ,矩形領域

tend として長方形領域 R の左右端にわりあて，この区間を N 個に分割する．また可視化の対象となる周波数領域
t1の上限と下限を設定し，各々の対数をそれぞれ pmax , pmin
時刻として R の上下端にわりあて，これを M 個に分割する．

t2

pH

M

pL
低音

N

なお，以下の記述では tstart = t1 , tend = tN +1 , pmin = f1 ,pmax = fM +1 とする．
続いて，F0pij の各々が上述の格子構造のいずれの長方形領域に該当するかを算出する．具体的には，左から u 番
詳細画面

目，下から v 番目の長方形領域について，

tu < i < tu+1 , fv < pij < fv+1

図 3

(2)

Overview における座標値の定義．

モード」が切り替えられる．可動モードではマウスのポイが成立するようであれば，pij は当該長方形領域に属する

ンタ移動操作にともなって Overview を移動し，停止モーとして，変数 ruv に 1 を加算する．

ドでは後述する Detail において矩形領域内部に対応する以上の処理によって構成される 2 次元ヒストグラムを横F0 推移を折れ線で表示する．

N 画素，縦 M 画素のヒートマップ画像として扱う．長方3.3.3 F0 分散の概略表示

形領域に包括される pij の個数を集計した変数 ruv から，以下の式

Iuv = 1.0 − (αruv )γ

さらに Overview では，各瞬間の F0 の分散もヒートマッ
プで概略的に表示する．現時点での我々の実装では(3)• 評価の高い歌唱群の F0 の分散• 評価の低い歌唱群の F0 の分散によって，左から u 画素目，下から v 画素目の明度 Iuv をを 2 色のヒートマップで表示する．これにより，「高評価求める．ただし α および γ はユーザが調節可能な変数とすな歌唱者があえて正確な F0 をとっていないフレーズ」「低る．図 2 に示す通り，α が大きいほうが ruv が大きい部位

評価な歌唱者が F0 を正しくとれない傾向があるフレーズ」

での明度が低く（＝黒が濃く）なり，γ が大きいほうが ruvなどを発見しやすくなり，矩形領域を操作する際の有力なが大きい部位と小さい部位のコントラストが大きくなる．

ヒントにもなる．なお我々の実装では，歌唱評価は 5 段階

さらに Overview では，ヒートマップを構成する画素ののリッカート尺度で与えられているとし，評価 4 または 5

各列のうち，音階を構成する各音の周波数に対応する画の歌唱群の F0 の分散を赤いヒートマップで，評価 1 また素を対象として，ruv の値が一定以上かつ最大である画素

は 2 の歌唱群の F0 の分散を青いヒートマップで表示してに別の色を割り当てる．これにより，最も多くの歌唱者がいる．

とっている音階をヒートマップ上で明示する．

3.3.2 ヒートマップ上での矩形領域操作

3.4 Detail：本数と不透明度を制御した折れ線表示

Overview には時刻の範囲 [t1 , t2 ] と F0 の範囲 [pL , pH ] をDetail では Overview の矩形領域内部に対応する F0 推

示す矩形領域（図 3 参照）を重ねて表示する．この矩形領移を折れ線の集合で表現する．ここで多数の歌唱者の F0域はマウスのクリック操作により「可動モード」と「停止推移の中から重要な知見を得るために，本手法では折れ線ⓒ 2021 Information Processing Society of Japan4

Vol.2021-MUS-132 No.5
2021/9/16

情報処理学会研究報告
IPSJ SIG Technical Reportの描画に際して以下の機能を搭載している．

distij =• 折れ線の色と不透明度を歌唱者の評価から指定する．
• 発声の開始時と終了時を強調表示することで，各歌唱のタイミングの適切さを可視化する．

• 後述するサンプリングおよびクラスタリングの各手法により，描画する折れ線の本数を制御する．

t2∑|pik − pjk |

(5)

k=t1

ただし pik = 0 または pjk = 0 である場合には，十分大きな定数 DIST *1 を設定し，|pik − pjk | = DIST とする．このマンハッタン距離を全ての折れ線ペアに対して算出し，発声の開始時と終了時を強調表示するために本手法でk-medoids 法を適用することで一定個数のクラスタを生成

は，pi(j−1) = 0 または pi(j+1) = 0 を満たす pij の位置に一し，各クラスタの中心とされた折れ線を描画する．クラス

定の大きさの点を描画する．また本手法では，特定の折れタリングはサンプリングに比べて計算時間が大きいため，線をクリック操作で指定すると，その折れ線に対応する歌

画面上で所定のボタンを押したときにのみ実行する．

唱の F0 を，Overview にも折れ線で表示する．

4. 実行例

描画する折れ線の本数を制御する 1 つ目の手法として，本手法ではサンプリング機能を搭載する．この機能では本手法を実装した結果を紹介する．著者らは本可視化手

各々の折れ線に対して一様乱数となる値 z(0.0 ≤ z ≤ 1.0)

法を Java 1.12.0 および JOGL (Java binding for OpenGL)を算出し，これが2.3.2 で実装した．実行例には DAMP-balanced dataset *2に収録された”Let It Go”の無伴奏歌唱の音響データから

αx z > Zthres(4)を満たすならば当該折れ線を描画し，さもなければ当該折れ線の描画を割愛する．ここで Zthres は折れ線の本数を制御するためにユーザが指定する閾値であり，αx は表 1 に記載された不透明度のいずれかである．この値の選択により，低評価な歌唱の折れ線のみ，あるいは高評価な歌唱の折れ線のみを多めに描画するように本数を調節することが可能である．なお我々の実装では，Overview の矩形領域を停止モードにした瞬間，あるいは Zthres の値を変更した
瞬間にサンプリングを実行する．図 4 に Zthres の値と折れ線の本数の関係を示す．

1000 人の歌唱を無作為抽出して適用した．これらの歌唱に対して，1 人の評価者が各歌唱について 5 段階のリッカー
ト尺度による主観評価を施した結果を付与した．評価者
は”Let It Go”の各歌唱者に対して，1 コーラス目のサビ直前からそのサビ終了までを試聴した．さらに，Python 言
語の楽曲解析ライブラリである librosa に搭載された F0 推
定アルゴリズム pYIN を用いて，音響データから F0 を算出した．そして，相互相関が最大となるようなアライメン
トを適用することで，歌唱間のタイミングを補正した．可視化結果の画素数は N = 1000, M = 480，F0 の単位は Hzとし，対象となる周波数を 110Hz〜1760Hz（音階で A1 から A5）の 4 オクターブとした．
楽曲全体を表す Overview と，矩形領域の操作にともなうZthres=0.5

Detail の表示例を図 5 に示す．この図の上半分が Overview
であり，黒に近い色ほど多くの歌唱者が該当する音域で発声していることを示す．Overview の下端には，高評価おZthres=0.8

よび低評価である歌唱の F0 の分散を，それぞれ赤と青のヒートマップで表示している．ユーザはこのヒートマップ
を参照しながら，矩形領域の移動先を選ぶことができる．

Zthres=0.95

図 5(1)〜(6) は Overview 中の 6 ヶ所に矩形領域を移動して表示した Detail の例である．

Zthres=0.99

図 5 に示す実行結果では，Detail での歌唱者の評価と折れ線の色・不透明度の対応を表 1 のとおり設定している．
この例では低評価ほど原色に近い青，高評価ほど原色に近

図 4

Zthres の調節に対する折れ線の表示本数の変化．

い赤が割り当てられる．また不透明度に α1 を選択すれば評価が「2」である歌唱を強調し，α2 を選択すれば評価が描画する折れ線の本数を制御する 2 つ目の手法として，「5」である歌唱を強調し，α3 を選択すれば評価「2」「5」の本手法ではクラスタリング機能を搭載する．ここでは描画

両者を強調する．今回採用したデータでは評価が「1」で対象となる折れ線群のうち i 番目と j 番目の折れ線についある歌唱は分析対象に値しないものが多いと判断し，強調て，時刻 t1 から t2 までの pik および pjk の値を (t2 − t1 + 1)

*1

次元ベクトルとみなし，両者のマンハッタン距離 distij を以下の式で算出する．
ⓒ 2021 Information Processing Society of Japan*2

DIST の値が大きいほど発声の開始・終了のタイミングが合っている歌唱間の距離が小さくなり，DIST の値が小さいほど両者ともに発声しているときの F0 が近い歌唱間の距離が小さくなる．
https://ccrma.stanford.edu/damp/

5Vol.2021-MUS-132 No.5
2021/9/16

情報処理学会研究報告
IPSJ SIG Technical Report

(6)

(1)
(5)
(2)

(3)

(4)

図 5 Overview 表示の例と，そこから 6 箇所の矩形表示を対象として Detail 表示を適用した
例．Detail 表示では 5 段階評価で「5」となった歌唱を濃い赤で，「2」となった歌唱を濃い青で表示している．

のか，ビブラートなどの唱法によって F0 が上下する歌唱表示しないことにした．
図 5(1)〜(6) は α3 を選択した表示結果であり，評価「2」「5」の両者がそれぞれ青，赤で強調表示されている．なお，者が多いのか，といった点まではこの可視化結果だけからは判断できない．

図 5(1)〜(6) の各々に対して別々のサンプリング結果が適用されているため，評価「2」の歌唱者が多く表示される場合と評価「5」の歌唱者が多く表示される場合がある点に(1)

注意されたい．
表 1

歌唱者の評価と折れ線の色・不透明度の対応の例
評価
R
G
B
α1
α2
α3

1

0.0

0.0

1.0

0.5

0.5

0.5

2

0.1

0.1

0.8

1.0

0.3

1.0

3

0.4

0.4

0.4

0.5

0.5

0.5

4

0.8

0.1

0.1

0.4

0.8

0.8

5

1.0

0.0

0.0

0.3

1.0

1.0

(2)

(3)

図 5(1)(2) はいずれも，音階が下降した後にロングトー
ンがある．図 5(1) は赤い折れ線が比較的太い帯を形成しており，高評価な歌唱であっても多くの人が少しずつ異なる(4)周波数で発声していることがわかる．それに対して図 5(2)は，少数の高評価の歌唱者が半音単位で異なる F0 で発声していることがわかる．また低評価の歌唱者がそれ以上に大きく F0 を外しているのがわかる．これらの可視化結果
から，音階が下降するフレーズといっても異なる F0 分布

図 6 特定の歌唱者の F0 推移の表示例．(1) 多数の歌唱者と同様な F0 推移をとっており評価「5」となった歌唱者．(2) 多数の歌唱者と異なる F0 推移をとりながらも評価「5」となったが見られることがわかる．ただし図 5(1) に関して言えば，歌唱者．(3) 多数の歌唱者と同様な F0 推移をとりながらも評

F0 を正確に制御できない歌唱者が多いのか，ビブラート

価「2」となった歌唱者．(4) 多数の歌唱者と異なる F0 推移をなどの唱法によって F0 が上下する歌唱者が多いのか，ととっており評価「2」となった歌唱者．

いった点まではこの可視化結果だけからは判断できない．
図 5(3)(4)(5) はいずれも，音階が大きく上下するフレー

図 5(1) に示す Detail から特定の折れ線をクリックして，ズを示したものである．高評価な歌唱者は正確に F0 をと対応する歌唱を Overview にて折れ線表示した例を図 6 にれており，低評価な歌唱者は正確に F0 をとれていない，と示す．図 6(1) は図 5(1) 中で赤い折れ線が集中している部いう差が顕著にあらわれている．また図 5(5)(6) では，図分から抽出した歌唱であり，楽曲全体にわたって正確な

5(1) と同様に，フレーズの末尾のロングトーンでは高評価

F0 で歌唱していることが見受けられる．この歌唱者に限な歌唱者であっても F0 に幅があることがわかる．これもらず，図 5(1) 中で赤い折れ線で表示されている高評価な歌

図 5(1) と同じく，F0 を正確に制御できない歌唱者が多い

唱の多くに，同様な F0 推移が見られた．それに対して少ⓒ 2021 Information Processing Society of Japan

6

Vol.2021-MUS-132 No.5
2021/9/16

情報処理学会研究報告
IPSJ SIG Technical Report

数ながら，図 6(2) に示すように，多数の歌唱者とは異なる

F0 推移を有しながらも高評価を得ている歌唱もある．一方で低評価な歌唱の中には，多数の歌唱者の F0 推移に近[7]

い図 6(3) のような F0 推移を有する歌唱と，多数の歌唱者の F0 推移から大きく離れた図 6(4) のような F0 推移を有[8]する歌唱とが同程度に見られた．

5. まとめ・今後の課題[9]

本報告では同一楽曲に対する多数の歌唱の F0 分布を「Overview と Detail」という 2 つの画面で探索的に可視化する手法を提案し，その実行例を示した．今後の課題とし[10]て以下を検討している．
歌唱データ処理の改善． pYIN によって算出した現状のF0 にはノイズと思われる値が随所に含まれている．これ[11]を削除することで，より滑らかに F0 推移を表現したい．
また現状では各音素の発音の瞬間を認識していないため，[12]

連続的な発声の開始時と終了時のみを強調表示している．
この点を拡張することで，各音素のタイミングも可視化し
たい．

[13]

実用シナリオに沿った可視化手法の拡張． 現状の可視化
手法は「F0 分布の大局的および局所的な傾向を表現する」[14]

ことだけを目指しており，特定の実用シナリオを想定したものではない．今後の機能拡張に際して，何らかの実用シ
ナリオを想定し，それを満たす方向で機能を拡張したい．

[15]

歌唱以外への可視化手法の適用． 本手法は「時間軸と物理値軸の双方にマルチスケールな描画が必要」であり[16]「欠損値（歌唱の場合には休符）が随所に含まれる」というデータに一般的に利用可能な可視化手法である．このようなデータは歌唱およびそれ以外の各種楽器の演奏情報に限[17]定されない．音楽情報以外も含めて多様な時系列データの[18]

可視化への適用が可能であると考えられる．
参考文献
[1]

[2]

[3]
[4]

[5]

[6]

Wager, S., Tzanetakis, G., Sullivan, S., C. Wang, J. S.,
Kim, M. and Cook, P.: Intonation: A Dataset of Quality Vocal Performances Reﬁned by Spectral Clusteringon Pitch Congruence, Proc. IEEE ICASSP 2019, pp.
476–480 (2019).
Last, M., Kandel, A. and Bunke, H.: Data Mining
in Time Series Databases, World Science Publishing(2004).
Liao, T. W.: Clustering of Time Series Data – A Survey,
Pattern Recognition, Vol. 38, pp. 1857––1874 (2005).
伊藤貴之，中野倫靖，深山覚，濱崎雅弘，後藤真孝：同一楽曲に対する多数の歌唱の基本周波数推定値分布の可視化，情報処理学会音楽情報科学研究報告，pp. 2019–MUS–123(2019).
近藤芽衣，伊藤貴之，中野倫靖，深山覚，濱崎雅弘，後藤
真孝：同一楽曲に対する多数の歌唱と正解歌唱の音高推移分布の可視化，情報処理学会インタラクション 2021，
pp. 3P–03 (2021).
Cockburn, A., Karlson, A. and Bederson, B. B.: A review of overview+detail, zooming, and focus+context in-ⓒ 2021 Information Processing Society of Japan

[19]

[20]

[21]

[22]

[23]

[24]

terfaces, ACM Computing Surveys, Vol. 41, No. 2, pp.
1–31 (2009).
Wilkins, J., Seetharaman, P., Wahl, A. and Pardo, B.:
VocalSet: A Singing Voice Dataset, Proc. ISMIR 2018,
pp. 468–474 (2018).
Tsuzuki, K., Nakano, T., Goto, M., Yamada, T. andMakino, S.: Unisoner: An Interactive Interface for
Derivative Chorus Creation from Various Singing Voiceson the Web, Proc. Joint ICMC SMC 2014 Conference,
pp. 790–797 (2014).
都築圭太，中野倫靖，後藤真孝，山田武志，牧野昭二：Unisoner：様々な歌手が同一楽曲を歌った Web 上の多様な歌声を活用する合唱制作支援インタフェース，情報処理学会論文誌，Vol. 56, No. 12, pp. 2370–2383 (2015).
中野倫靖，後藤真孝，平賀譲：楽譜情報を用いない歌唱力
自動評価手法，情報処理学会論文誌， Vol. 48, No. 1, pp.
227–236 (2007).
Shiraishi, M., Ogasawara, K. and Kitahara, T.:
HAMOKARA: A System for Practice of Backing Vocals
for Karaoke, Proc. SMC 2018, pp. 511–518 (2018).
Moschos, F., Georgaki, A. and Kouroupetroglou, G.:
FONASKEIN: An Interactive Software Application for
the Practice of the Singing Voice, Proc. SMC 2016, pp.
326–331 (2016).
Mayor, O., Bonada, J. and Loscos, A.: Performance
Analysis and Scoring of the Singing Voice, Proc. AES
35th International Conference (2009).
Nakano, T. and Goto, M.: VocaReﬁner: An Interactive Singing Recording System with Integration of Multiple Singing Recordings, Proc. SMC 2013, pp. 115–122(2013).
Klapuri, A.: A Method for Visualizing the Pitch Content of Polyphonic Music Signals, Proc. ISMIR 2009,
pp. 615–620 (2009).
Jure, L., Lopez, E., Rocamora, M., Cancela, P., Sponton,
H. and Irigaray, I.: Pitch Content Visualization Tools
for Music Performance Analysis, Proc. ISMIR 2012, pp.
493–498 (2012).
Gomez, E. and Bonada, J.: Tonality Visualization of
Polyphonic Audio, Proc. ICMC 2005 (2005).
Lin, K. W. E., Anderson, H., Agus, N., So, C. and Lui,
S.: Visualising Singing Style Under Common Musical
Events Using Pitch-Dynamics Trajectories and Modiﬁed
TRACLUS Clustering, Proc. ICMLA’14 (2014).
Kako, T., Ohishi, Y., Kameoka, H., Kashino, K. and
Takeda, K.: Automatic Identiﬁcation for Singing Style
Based on Sung Melodic Contour Characterized in Phase
Plane, Proc. ISMIR 2009 (2009).
Weiβ, C., Schlecht, S. J., Rosenzweig, S. and Muller, M.:
Towards Measuring Intonation Quality of Choir Recordings: A Case Study on Bruckner’s Locus Iste, Proc. ISMIR 2019, pp. 276–283 (2019).
Uchida, Y. and Itoh, T.: A Visualization and Levelof-Detail Control Techniquefor Large Scale Time Series
Data, Proc. IV09, pp. 80–85 (2009).
Perin, C., Vernier, F. and Fekete, J.-D.: Interactive Horizon Graphs: Improving the Compact Visualization ofMultiple Time Series, Proc. ACM CHI 2013, pp. 3217–
3226 (2013).
Wang, Y., Han, F., Zhu, L., Deussen, O. and Chen,
B.: Line Graph or Scatter Plot? Automatic Selection of Methods for Visualizing Trends in Time Series,
IEEE Trans. on Visualization and Computer Graphics,
Vol. 24, No. 2, pp. 1141–1154 (2018).
Imoto, M. and Itoh, T.: A 3D Visualization Technique

7情報処理学会研究報告
IPSJ SIG Technical Report

[25]

[26]

[27]

[28]

[29]
[30]

[31]

[32]

[33]

Vol.2021-MUS-132 No.5
2021/9/16

for Large Scale Time-Varying Data, Proc. IV10, pp. 17–
22 (2010).
Oliveira, G., Comba, J., Torchelsen, R., Padilha, M. andSilva, C.: Visualizing Running Races through the Multivariate Time-Series of Multiple Runners, Proc. SIBGRAPI 2018, pp. 99–106 (2013).
Krstajic, M., Bertini, E. and Keim, D. A.: CloudLines:
Compact Display of Event Episodes in Multiple TimeSeries, IEEE Trans. on Visualization and Computer
Graphics, Vol. 17, No. 12, pp. 2432–2439 (2011).
Javed, W., McDonnel, B. and Elmqvist, N.: Graphical
Perception of Multiple Time Series, IEEE Trans. on Visualization and Computer Graphics, Vol. 16, No. 6, pp.
927–934 (2010).
Gogolou, A., Tsandilas, T., Palpanas, T. and Bezerianos, A.: Comparing Similarity Perception in Time Series Visualizations, IEEE Trans. on Visualization andComputer Graphics, Vol. 25, No. 1, pp. 523–533 (2019).
Mazza, R.: Introduction to Information Visualization,
Springer (2009).
Cuenca, E., Sallaberry, A., Wang, F. Y. and Poncelet, P.:
MultiStream: A Multiresolution Streamgraph Approachto Explore Hierarchical Time Series, IEEE Trans. on
Visualization and Computer Graphics, Vol. 24, No. 12,
pp. 3160–3173 (2018).
Sjölander, K. and Beskow, J.: Wavesurfer - An Open
Source Speech Tool, Proc. International Conference on
Spoken Language Processing (ICSLP 2000) (2000).
Goto, M., Yoshii, K., Fujihara, H., Mauch, M. andNakano, T.: SONGLE: A Web Ssevice for Active Music
Listening Improved by User Contributions, Proc. ISMIR
2011, pp. 311–316 (2011).
André, P., Wilson, M. L., Russell, A., Smith, D. A.,
Owens, A. and Schraefel, M. C.: Continuum: Designing
Timelines for Hierarchies, Relationships and Scale, Proc.
UIST 2007, pp. 101–110 (2007).

ⓒ 2021 Information Processing Society of Japan

8