Vol.2018-MUS-121 No.17
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report

グループアイドルソングを対象とした歌唱者ダイアライゼーション手法の基礎的検討
須田 仁志1,a)

深山 覚2,b)

中野 倫靖2,c)

齋藤 大輔1,d)

後藤 真孝2,e)

概要：本稿では，複数人が歌唱している楽曲に対して誰がいつ歌っているかを推定する歌唱者ダイアライ
ゼーションの基礎的な検討を行う．とくに本稿ではグループアイドルソングのような複数の歌唱者が交互に歌ったり同時に歌ったりする楽曲を対象とする．本稿では伴奏音を除去した歌声を用いてアイドルソン
グのデータセットを構築した．またこれらの歌声に対して，歌唱者の音響モデルを未知とした手法と既知とした手法の 2 手法を用いて歌唱者ダイアライゼーションを行った．歌唱者の音響モデルを未知とした手法には，会話音声に対する話者ダイアライゼーションで広く用いられている修正ベイズ情報量規準を用いた手法を利用した．また音響モデルを既知とした手法では，i-vector を用いた話者認識を利用して短時間での歌唱者認識を繰り返し行うことで推定した．推定結果から，歌唱者の音響モデルの有無により大きな性能の差があること，また音響モデルが既知であっても短時間での歌唱者認識だけでなく適切な後処理によって推定誤りを減らせることが確認できた．

1. はじめにも難しいことがある．また，そうしたパート割りの分析を行った場合は歌詞と対応付けることが多く，音声に対してボーカルのある楽曲を考えたとき，歌唱している人数が直接メタデータなどの付与を行うことは少ない．どの歌唱

1 人か複数人かで大きく区別することができる．とくに複者がいつ歌っているかを特定できれば，単にその結果を示

数人で歌唱している楽曲は，合唱の形態だけでなく歌唱者

すことだけでなく，同時に歌っている人数からの盛り上がが交互に歌う形態を採用することがある．こうした演出

り推定や，歌唱者の声質に応じた音楽演出が可能になる．

は，グループアイドルソングやアニメソング，日本や世界

また歌声の音響モデルを歌唱者ごとに適応することが可能のバンド音楽，複数人のアーティストがコラボレーションになり，より高性能な歌詞認識や伴奏音抽出への応用が期して作られた楽曲などに見ることができる．邦楽において待できる．本研究では，こうしたパート割りのある楽曲にはこうした時間方向での歌い分け手法をとくにパート割り

対して歌声と歌唱者との対応をとることを考える．

と呼ぶ場合があり，本稿でもこのように表現する．

パート割り推定に類似の問題として会話音声から「誰がパート割りの大きな役割として，歌う箇所が歌唱者にいつ話しているか」を推定する話者ダイアライゼーション

よって異なることで，音楽を用いて注目する歌唱者を切りがあり，会議・ニュース・電話音声などを主な対象として替える演出が可能になる点がある．これによってグループ

研究がなされている．話者ダイアライゼーションからのア

アイドルの各アイドルやアニメの各キャラクターなどをナロジーにより「誰がいつ歌っているか」を推定する技術

自然に印象づけることができる．一方で，誰がどの部分でを歌唱者ダイアライゼーションと呼ぶことができる．歌唱

歌っているかは，よくその歌唱者を知っている聞き手で者ダイアライゼーションは，民族音楽を対象として行った研究の報告がなされている [1]．しかし，背景雑音や楽器音

1

2

a)
b)
c)
d)
e)

東京大学大学院工学系研究科
Graduate School of Engineering, The University of Tokyo,
Hongo, Bunkyo-ku, Tokyo 113-8656, Japan
産業技術総合研究所
National Institute of Advanced Industrial Science and Technology (AIST), Umezono, Tsukuba, Ibaraki 305-8568, Japan
hitoshi@gavo.t.u-tokyo.ac.jp
s.fukayama@aist.go.jp
t.nakano@aist.go.jp
dsk saito@gavo.t.u-tokyo.ac.jp
m.goto@aist.go.jpⓒ 2018 Information Processing Society of Japanの存在，歌唱者の切り替わりが多いことなどが原因で推定の誤りが非常に多い点，また信頼性の高い正解ラベルを与えることが難しい点が指摘されている．また会話音声と歌声では話者（もしくは歌唱者）の重なり方や音素の継続長などの音響的特徴が異なるため，話者ダイアライゼーショ
ンの手法をそのまま適用することが適切であるとは限らない．

1

Vol.2018-MUS-121 No.17
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report

そこで本稿では，複数の歌唱者がそれぞれソロで同一のらも広く用いられている．どちらの手法においても何らか楽曲を歌唱した歌声が存在する楽曲群を利用し，これらかの規準で分割前と分割後もしくは凝集前と凝集後の評価をら伴奏音を除去した歌声を用いて歌唱者ダイアライゼー

行い，分割・凝集位置や分割・凝集を止める点を決定する．

ションに対する基礎的な検討を行う．これにより，伴奏音

評価規準には修正ベイズ情報量規準（modified Bayesian

除去を含む前処理による影響を小さくできるほか，正解ラ

information criterion; mBIC），一般化尤度比（Generalized

ベルを適切に与えることが可能になる．話者ダイアライ

Likelihood Ratio; GLR）規準，情報量変化（Information

ゼーションには，話者の音響モデルを未知とした手法が広Change Rate; ICR）規準などが広く用いられている [4–6]．

く用いられている．本稿ではこの手法のほかに，歌唱者の本節では mBIC を用いたトップダウン型の手法について述

音響モデルを既知として短時間フレームでの歌唱者認識をべる．

繰り返すことでパート割りを推定する手法を用い，それぞれの性能を確認した．音響モデルが未知の場合では，歌唱

修正ベイズ情報量 mBIC はモデル M に対して次のように定義される．

者のほかに音素による影響を大きく受けることが確認され，音響モデルが既知の場合と比較して性能が大きく低下

mBIC(M ) = log L(X , M ) −λ#(M ) log N
2(1)

することが示された．また音響モデルが既知の場合では，瞬時に歌唱者が入れ替わるような不適切な結果が多く見ら

ここで log L(X , M ) は観測系列 X に対するモデル M の対れるものの，適切な後処理によってある程度の推定が可能

数尤度，#(M ) はパラメタ数である．λ は重み定数であり，であることが確認された．

実験的に決定する．mBIC にもとづくトップダウン方式のセグメンテーションでは，各歌唱者による音響特徴量が確

2. 歌唱者の音響モデルを未知とする手法

率分布に従って生成されていると仮定する．本稿ではこの

本節では各歌唱者の音響モデルを未知とした場合の手法

確率分布を単一のガウス分布と仮定した．そして，あるセを述べる．これは話者ダイアライゼーションに広く用いら

グメントに対して全体を 1 つの歌唱者による発声とする仮

れている手法と同様である．この手法は，前処理，セグメ

説 H0 と，そのセグメントが前半と後半で 2 つの歌唱者にンテーション，クラスタリング，後処理の 4 手順に大別でよって構成されているとする仮説 H1 を用意し，そのベイ

きる [2]．

ズ情報量の高い仮説がより適当であるとする．具体的には
観測音響特徴量系列を x1 , x2 , . . . , xN とし，

2.1 前処理
一般的な話者ダイアライゼーションの前処理では，発話区間の検出を行い，無音やノイズのみの区間を計算対象か

H0 : x1 , . . . , xN ∼ N (µ, Σ)(2)

H1 : x1 , . . . , xN1 ∼ N (µ1 , Σ1 ),xN1 +1 , . . . , xN ∼ N (µ2 , Σ2 )ら除外する処理を行う．また音声強調やリバーブ除去など(3)の処理を行う．とくに複数のマイクが利用可能な場合は到達時刻の差（time-delay-of-arrival; TDOA）を利用して事の 2 つ の 仮 説 を 用 意 す る ．こ こ で µ, µ1 , µ2 お よ び

前処理を行うことでダイアライゼーション精度を向上させ

Σ, Σ1 , Σ2 はそれぞれ各正規分布の平均ベクトルおよびる手法が提案されている [3]．

分散共分散行列である．具体的なベイズ情報量は，特徴量

本稿では歌声なしの音源を利用してあらかじめ伴奏音をの次元数を m として，H0 では除去した音源を用いることを前提に，前処理として歌声区間の検出のみを行う．ミックス処理が施されている音源でmBIC = −N
λ m(m + 3)mlog(2π) |Σ| −
log N
2
2
2

(4)

は歌唱者ごとに異なるパンが振られている場合がありこれを用いて歌唱者を分離することも考えられるが，本稿ではとなる．H1 についても同様に計算すれば，H0 と H1 のベ

モノラル音声として扱いそのような条件に依存しない手法

イズ情報量の差 ∆mBIC はを検討する．

2.2 セグメンテーション
各セグメントが単一の話者による発話になるようにセグ

1∆mBIC = [N log|Σ| − N1 log|Σ1 | − N2 log|Σ2 |]2
λ m(m + 3)−
log N (5)22

メンテーションを行う．各時刻の音響特徴量がすべて同じとなり，この値が正であれば仮説 H1 が適切であると推測

話者による音響特徴量と仮定して分割していく手法（トッすることができる．ここでは N2 = N − N1 としている．

プダウン・分割型クラスタリング）と，逆にすべて異なる話

なお分割点 N1 は最も尤度が高くなるような点を選べばよ

者による音響特徴量と仮定して結合していく手法（ボトムい．この作業を BIC が増加しなくなるまで繰り返すこと

アップ・凝集型クラスタリング）に大きく分けられ，どちで，音声をセグメンテーションすることができる．

ⓒ 2018 Information Processing Society of Japan2

Vol.2018-MUS-121 No.17
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report

2.3 クラスタリング

ら最多の歌唱者を選ぶ方法で平滑化を行う．すなわち，時セグメントに対して，同一話者の発話が同じクラスタに

刻 t において推定されたラベルを y(t)，短時間歌唱者認識

属するようにクラスタリングを行う．セグメンテーションの間隔を τ として，次式にもとづき平滑化後のラベル ŷ(t)と同様に mBIC を利用する手法のほかに，セグメントに対を得る．

する i-vector を抽出してこれを比較する手法も用いられる．

ŷ(t) = maj{y(t − nτ ), y(t − (n − 1)τ ), . . . , y(t + nτ )}十分な精度のセグメンテーションが行えない場合があるた(6)め，セグメンテーションとクラスタリングを同時に行ったり，加えて話者の発話長モデルを利用したりする手法など

ここで maj は最多のラベルを選ぶ関数である．本稿ではも提案されている [7, 8]．本稿ではクラスタリングにおいτ = 100 ms，n = 15 とした．

ても mBIC を利用している．

なお本稿で扱う歌声には歌唱者全員で歌う部分が存在す
るが，i-vector による話者認識は通常一人による発話を前

2.4 後処理

提として認識を行うため手法をそのまま適用することがで上の手順で得られるダイアライゼーション結果を修正す

きない．そこで本稿では，同時歌唱の歌声を新たな 1 人のるための処理を行う．歌っている歌唱者と状態を対応付け

歌唱者による歌声としてモデル化することで，音源分離なた隠れマルコフモデル（hidden Markov model; HMM）をどを行わずに歌唱者の推定を行う．

構成し，上の結果を初期値としてビタビ探索を行うなどの手法を用いる．本稿では状態の出力となる音響モデルを 8

4. 実験条件

混合 GMM でモデル化しビタビ探索を行うことで，最終的なダイアライゼーション結果を得ている．

本稿では，グループアイドルソングのデータセットとしてゲーム『アイドルマスター』で使われている楽曲を用いた．これはゲーム内にパート割りの演出がある楽曲が多数

2.5 予想される手法の問題点

存在し，その楽曲を各歌唱者がソロで歌った歌声および歌

mBIC によりセグメンテーションやクラスタリングを行

声なしの音源が一部市販されているためである．伴奏音のう場合，セグメント内の音響特徴量を統計モデルで表すこ

除去には歌声りっぷ*1 を用いた．歌声にはリバーブなどのとを前提としているため，短時間での音響特徴量の統計的エフェクトがかかっている場合が多く，また歌声りっぷにな性質がその結果に影響する．すなわち，この手法は歌唱よる伴奏音の除去時に再合成が行われているため，理想的者の声質にもとづいてセグメンテーションやクラスタリン

なドライボーカルの歌声ではないことに留意する．サンプ

グが行われることを期待しているが，継続長の長い音素にリング周波数はすべて 16 kHz とし，音響特徴量には 12 次

よってこれらの結果に影響を及ぼす．これは長時間同じ音

元のメル周波数ケプストラム係数（mel-frequency cepstral

響特徴量が観測されることで，その時間の特徴量をモデル

coeﬃcients; MFCC）およびそのデルタ特徴量を用いた．

化したときの尤度が高くなりやすくなるためである．会話

ダイアライゼーションの対象音声は各歌唱者のソロの歌

音声ではフィラーや言いよどみになどにより起きうるが，声をミックスして作成した．楽曲には『思い出をありがと歌声の場合は音価によって音素の継続長が決まるためこうう』を用い，歌唱者は A（水瀬伊織），B（星井美希），C

した影響を受けやすくなると考えられる．後段に HMM を（如月千早）の 3 名とした．本稿では問題を単純化し基礎用いた修正処理も行うが，初期状態の音響モデルは前段の的な検討を行うため 3 人中 2 人のみが歌っている状況はセグメンテーション・クラスタリングの結果にもとづき構作らないものとした．すなわち 3 人全員が同時に歌ってい築されるため，これらの処理の性能が最終的な性能に大きる・いずれかの歌唱者がソロで歌っている・誰も歌っていく影響する．こうした要因により，歌唱者ごとの音響モデ

ないの 5 通りの状態に限られるとした．このうち誰も歌っルが存在しない条件では，十分なダイアライゼーション性ていない状態についてはパワーにもとづく歌声区間検出に能を得ることが難しいと考えられる．

より事前に認識の対象から除外している．また 3 人が同時

3. 歌唱者ごとの音響モデルを既知とする手法に歌っている部分については，3 人とも同じ音高のユニゾンとした．

本稿では話者ダイアライゼーションで広く用いられる手

声の重なり合いについては，会話音声に対して用いられ法のほかに，音響モデルを既知としたダイアライゼーショ

る重なり合う前後の音声から推定する手法や音源を分離しン手法を適用する．歌唱者が既知であれば，i-vector を用て認識する手法を適用することは難しい．そのため，歌唱いた話者識別 [9] を短い間隔で行うことで，各時刻での歌者の音響モデルが未知の手法においては，3 人それぞれの唱者が推定できる．また本稿では，ごく短時間で歌唱者がソロ部分とユニゾン部分の 4 つにクラスタリングされるこ次々と入れ替わるような推定結果を抑制するための後処理とを期待する．また音響モデルが既知の手法においては，として，各時刻において周辺の時刻で推定された歌唱者か*1ⓒ 2018 Information Processing Society of Japan

http://www.vector.co.jp/soft/win95/art/se127635.html

3Vol.2018-MUS-121 No.17
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report

3 人のソロのモデルのほかにユニゾンのモデルを用いて 4
ダイアライゼーション結果の客観評価には diarization

0

区間に歌唱者がラベリングされた時間（false alarm），3)
歌っている歌唱者がいる区間に誰も歌っていないとラベリングされた時間（miss）の 3 つを足し合わせた時間の，音声の総時間に対する割合である．

mBIC (relative)

error rate（DER）を用いた [10]．DER は 1) 誤った歌唱者でラベリングされた時間（error），2) 誰も歌っていない

1042

クラス識別を行う．

-2
-4
-6

5. 実験 1: 歌唱者の音響モデルが未知の条件-8

本節および次節ではパート割りの存在する楽曲に対して

1

2

実際にダイアライゼーション手法を適用することで，それぞれの手法の性能を議論する．本節では歌唱者それぞれの

図 1

3

4

5

6

Number of segments

7

セグメント数を 1 から 7 まで仮定したときの修正ベイズ情音響モデルを未知とした条件でのダイアライゼーション手

報量．λ は mBIC におけるモデルのパラメタ数に対するハイ法，すなわち話者ダイアライゼーションで広く用いられてパーパラメタ．修正ベイズ情報量の値は定数項を無視して計算した相対値．

いる手法について検討する．

5.1 mBIC にもとづくセグメンテーションを行った．ここではダイアライゼーションの対象音声とは0

異なる，2 人の歌唱者が前半と後半でそれぞれ歌い分ける

6.6 秒の歌声を用いた．

Waveform

1

事前実験として，短い歌声に対してセグメンテーション-1

モデルのパラメタ数の重み定数 λ を 0 から 10 まで選び，

0

1

2

3

4

5

6

100

200

300

400

500

600

100

200

300

400

500

600

歌声に対してセグメント数を 1 から 7 まで仮定したときのTime [s]を図 1 に示す．この値が最も大きいセグメント数が各 λ において最適なセグメント結果であると推定される．λ = 0の場合はベイズ情報量が単調増加したが，これはモデルのCluster

それぞれにおける最大の修正ベイズ情報量を計算した結果

尤度のみを評価しているためである．また λ が大きいほど

2
4
6

モデルのパラメタ数に対する重みが大きくなるため，セグFrame

この歌声に対して λ を 2 と 3 に選びセグメンテーションを行った結果を図 2 に示す．ともに歌声のはじめとおわりの短い無音部分がセグメントに分割されている．どちらの λ においても，歌唱者の切り替わり点ではない場所でセグメントの切断が発生している．またどちらも 5.2 秒付
近から 6.4 秒付近までに 1 つのセグメントが割り当てられCluster

メント数が多くなるほどベイズ情報量が小さくなった．
2
4

Frame

ているが，この部分は 1 つの音素/u/にあたる部分である．

図 2 2 人の歌唱者による歌声に対して mBIC にもとづくセグメン

mBIC にもとづくセグメンテーションでは音響モデルを仮テーションを行った結果．波形が青色の部分と橙色の部分がそ定せず 1 つのガウス分布でモデル化するため，このようにれぞれの歌唱者のパートであることを示す．

歌声に見られる継続長の長い音素の影響を受けやすいと考えられる．

た．ここではダイアライゼーションツールキットである

5.2 音響モデルを未知としたダイアライゼーション

ラスタと歌唱者 A の歌唱部分がよく合致しているが，3 つLIUM [11] を用いた．この結果を図 3 に示す．1 つめのク
mBIC にもとづくセグメンテーションおよびクラスタリ

めと 4 つめの両方のクラスタがユニゾン部に割り当てられ

ングと HMM を用いたビタビ探索を行うことで，歌唱者ているなど誤りも多く見られる．DER は 34.8%となった．

の音響モデルを未知としてダイアライゼーションを行っⓒ 2018 Information Processing Society of Japan4

Vol.2018-MUS-121 No.17
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report

Cluster #Estimated clusters

77

5

4

9

A

79

5

1

10

B

7

79

2

4

B

10

69

0

13

C

3

7

72

12

C

1

12

74

7

Unison

12

20

6

56

Unison

3

7

1

83

A

B

C

A

B

C

4
20

40

60

80

100

120

Time [s]Correct labels
Singer

A

1

A
B
C
20

40

60

80

100

(a)

120

n

iso

Un

Cosine similarity

n

iso

Un

(b)

SVM (p = 0.813)(p = 0.757)

Time [s]図 3 LIUM を利用した，歌唱者の音響モデルを用いない手法での歌

A

84

8

0

3

A

83

9

0

3

B

6

83

0

3

B

5

84

0

3

C

0

6

78

10

C

0

9

78

7

Unison

6

15

0

73

Unison

11

14

1

68

A

B

C

A

B

C

唱者ダイアライゼーションの結果．上段が推定結果，下段が正解ラベルを示す．歌唱者の認識を行っていないため，どのクラ
スタとどの歌唱者が対応付けられているかは推定していない．

6. 実験 2: 歌唱者の音響モデルが既知の条件
本節では歌唱者それぞれの音響モデルを既知とした条件

(c)

n

iso

Un

LDA (p = 0.848)

(d)

n

iso

Un

PLDA (p = 0.835)

で，短時間歌唱者認識を利用したダイアライゼーション
手法の性能について検討する．歌唱者認識は 1 秒間の音
声から i-vector を抽出して行った．話者空間モデルである

universal background model（UBM）には 2048 混合の混合ガウスモデルを用い，学習には多数話者音声データベー

図 44 つの判別手法を用いて短時間歌唱者認識を行い得られた混同
行列．各行が推定ラベルに，各列が正解ラベルに対応する．たとえば最も左下の値は歌唱者 A の歌声をユニゾンと推定した
フレーム数を表す．Unison は 3 人の歌唱者が同時に歌った歌声を示す．p は推定の性能を示す正解率．

ス APPBLA における女性話者のうち 1185 名の発声した

ATR 音素バランス文 20580 発話（およそ 30 時間分）を用た．判別法には前節の結果から LDA を用いた．ダイアラ

いた．i-vector の次元数は 100 次元とし，判別器の学習に

イゼーションの推定結果を図 5 に示す．平滑化前の結果

は認識対象の楽曲を含まない 15 曲のソロおよびユニゾン

では短時間で歌唱者が入れ替わるような不適切な箇所が多の歌声を用いた．

く見られるが，平滑化を行うことで改善している．平滑化後の結果では 93 秒付近から 100 秒付近に大きな誤りが見

6.1 短時間歌唱者認識られる．この部分は本楽曲においてセリフにあたる部分で事前実験として，各歌唱者のソロと 3 人のユニゾンのあり，歌声でなくセリフであることが音響特徴量系列の統

歌声それぞれに対して，余弦類似度（cosine similarity），

計量を評価する i-vector に大きく影響を与えたと考えられサポートベクトルマシン（SVM），線形判別分析（LDA），

る．DER は平滑化前が 28.2%，平滑化後は 11.9%となり，probabilistic LDA（PLDA）の 4 種の判別法を用いて短時

ともに 5.2 節の結果より低い誤り率が得られた．

間歌唱者認識を行った．これにより得られた混同行列を
図 4 に示す．SVM を除いては同様の傾向が見られ，歌唱

7. 考察

者 A と B の歌声をユニゾンと判定する誤りが多く見られ歌唱者の音響モデルを未知とした実験では，歌唱者 B とた（混同行列の左下部分）．これは 2 歌唱者の声質が近く，

C の 2 歌唱者の識別ができないなど，DER が高く誤りのまたユニゾンの音声が 3 人の歌声の平均的な特徴量になる

多い結果となった．音響モデルが未知の場合は，与えられため，その結果ユニゾンの音声が 2 歌唱者の特徴量に近くた短時間の音声断片から歌唱者の音響モデルを仮定して認なったと考えられる．推定性能を表す正解率は，余弦類似識を行うため，緻密な音響モデルを用いることができず，

度では 0.757，SVM では 0.813，LDA では 0.848，PLDA

また音素の影響を受けやすくなると考えられる．

では 0.835 となり，LDA が最も優れていた．ここで，正解

歌唱者の音響モデルを用いて歌唱者認識にもとづいてダ

率とは全フレームのうち正解のラベルを与えたフレームのイアライゼーションを行った場合には，平滑化をせずとも割合を示す．

歌唱者未知での手法より DER が低くなり，平滑化を行うことでさらに正解に近い結果を得た．音響モデルの有無に

6.2 短時間歌唱者認識による歌唱者ダイアライゼーション

よる差は事前知識による合理的な差であると考えられる

5.2 節と同じ歌声に対してダイアライゼーションを行っが，音響モデル未知の手法に大きな改善の余地があることⓒ 2018 Information Processing Society of Japan5

Vol.2018-MUS-121 No.17
2018/11/21

情報処理学会研究報告
IPSJ SIG Technical Report

ことでより詳細な手法の検討を行いたい．
SingerEstimated labels
A
BC

謝辞 本研究の一部は JST ACCEL（JPMJAC1602）の支援を受けた．
20

40

60

80

100

120

SingerTime [s]Estimated labels (smoothed)

参考文献

A
B
C

[1]
20

40

60

80

100

120

SingerTime [s]Correct labels

[2]

A
B
C
20

40

60

80

100

120

Time [s]図5[3]

短時間歌唱者認識にもとづくダイアライゼーションの結果．上段が平滑化前の推定ラベル，中段が平滑化後の推定ラベル，下[4]段が正解ラベルを示す．

が認められた．また音響モデル既知の手法での推定性能は[5]

平滑化によるところが大きく，歌唱者認識手法そのものと平滑化手法の両手法に対してさらなる検討が必要である．

8. おわりに[6]

本稿では「誰がいつ歌っているか」を推定する歌唱者ダイアライゼーション技術に関する基礎的な検討を行った．
既存の音源を用いる場合には伴奏音の除去や正解ラベルの[7]付与などの問題が挙げられる．そこで伴奏音を除去し正解
ラベルを確実に与えるために，特定のゲームに用いられて[8]

いるグループアイドルソングを活用したデータを整備した．またこのデータに対して，話者ダイアライゼーションに広く用いられている手法および歌唱者認識を利用した手[9]法の 2 手法を適用しダイアライゼーションを行った．歌唱者の音響モデルを用いない手法では推定の誤りが多く見られた．また音響モデルを用いて歌唱者認識を行った場合で[10]も，歌唱者認識自体の誤りが無視できず，歌唱区間の長さを考慮した処理が必要であることを確認した．
本稿では重なり合った 3 人の歌声を，ソロの歌声とは異なる歌唱者による歌声として認識させる手法を用いた．しかし 3 人中 2 人のみが歌っている場合を考慮しておらず，[11]

Thlithi, M., Barras, C., Pinquier, J. and Pellegrini, T.:
Singer Diarization: Application to Ethnomusicological
Recordings, 5th International Workshop on Folk Music
Analysis, pp. 124–125 (2015).
Anguera, X., Bozonnet, S., Evans, N., Fredouille, C.,Friedland, G. and Vinyals, O.: Speaker Diarization: A
Review of Recent Research, IEEE Transactions on Audio, Speech, and Language Processing, Vol. 20, No. 2,
pp. 356–370 (2012).
Anguera, X., Wooters, C., Peskin, B. and Aguiló, M.:
Robust Speaker Segmentation for Meetings: The ICSISRI Spring 2005 Diarization System, Machine Learningfor Multimodal Interaction, pp. 402–414 (2005).
Chen, S. S. and Gopalakrishnan, P. S.: Speaker, Environment and Channel Change Detection and Clustering
via the Bayesian Information Criterion, DARPA Broadcast News Transcription and Understanding Workshop,
pp. 127–132 (1998).
Gish, H., Siu, M.-H. and Rohlicek, R.: Segregation of
Speakers for Speech Recognition and Speaker Identification, International Conference on Acoustics, Speech,
and Signal Processing, pp. 873–876 (1991).
Vijayasenan, D., Valente, F. and Bourlard, H.: An Information Theoretic Approach to Speaker Diarization of
Meeting Data, IEEE Transactions on Audio, Speech,
and Language Processing, Vol. 17, No. 7, pp. 1382–1393(2009).
Ajmera, J. and Wooters, C.: A Robust Speaker Clustering Algorithm, IEEE Workshop on Automatic Speech
Recognition and Understanding, pp. 411–416 (2003).
Kotti, M., Benetos, E. and Kotropoulos, C.: Computationally Eﬃcient and Robust BIC-Based Speaker Segmentation, IEEE Transactions on Audio, Speech, andLanguage Processing, Vol. 16, No. 5, pp. 920–933 (2008).
Reynolds, D. A., Quatieri, T. F. and Dunn, R. B.:
Speaker Verification Using Adapted Gaussian Mixture
Models, Digital Signal Processing, Vol. 10, pp. 19–41(2000).
Tranter, S. E. and Reynolds, D. A.: An Overview ofAutomatic Speaker Diarization Systems, IEEE Transactions on Audio, Speech, and Language Processing,Vol. 14, No. 5, pp. 1557–1565 (2006).
Rouvier, M., Gay, P., Khoury, E., Merlin, T. andMeignier, S.: An Open-source State-of-the-art Toolbox for Broadcast News Diarization, INTERSPEECH(2013).

これを考慮する場合同様の手法では組合せ爆発を起こしモデル数が大きく増えてしまう．重なり合った声の音響モデ
ルはソロの音響モデルの平均的なモデルになることを考慮すると，同じ数の話者認識よりも問題が難しくなり，推定精度が大きく下がることが考えられる．事前に同時歌唱者
数のみを推定しておくなどの手法により，モデルの候補数を減らす工夫が求められる．また本稿では検証実験に 1 曲のみを用いたが，楽曲や歌唱者の組み合わせを様々に選ぶⓒ 2018 Information Processing Society of Japan

6