Vol.2021-MUS-131 No.10
Vol.2021-SLP-137 No.10
2021/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

基底共有型非負値行列因子分解を用いた楽器音の音色変換
北村 大地1

香西 海斗1,†1

概要：複数の楽器音間の音色の違いを解析する手法として，基底共有型非負値行列因子分解（basis-shared
nonnegative matrix factorization: BSNMF）が提案されている．この手法では，複数の楽器音の振幅スペ
クトログラムを低ランクな非負行列で近似表現する際に，一部の基底ベクトルを共有することで，入力楽器音間の共通音色成分及び各入力楽器音の固有音色成分をそれぞれスペクトルパターンとして同時に推定する．本稿では，この BSNMF で得られる共通・固有スペクトルパターンを用いて，複数の入力楽器音の音色を入れ替える変換を実現する手法を提案する．この音色変換法の利点として，複数の楽器音のパラレ
ルデータ（同一の旋律を異なる楽器で演奏したデータ）が無い場合でも，信号中に同じ音高や和音が含まれていれば音色変換ができる点が挙げられる．実験では，変換前の 2 つの楽器音と変換後の楽器音を被験者に聴取してもらう XAB 法に基づく主観評価を実施し，主観的にも認知できる品質で音色変換が成功することを示す．

Timbre Conversion of Musical Instruments Using
Basis-Shared Nonnegative Matrix Factorization
Kitamura Daichi1

Kozai Kaito1,†1

Abstract: Basis-shared nonnegative matrix factorization (BSNMF) was proposed to analyze the diﬀerenceof timbres between multiple musical instruments. This method approximates observed amplitude spectrograms of the multiple musical instrument signals by low-rank nonnegative matrices, where some basis vectors
are shared within the matrices. As a result, common and individual spectral patterns between the musicalinstruments can be simultaneously estimated. In this paper, we propose BSNMF-based timbre conversion of
the input musical instruments. The advantage of the proposed timbre conversion is that the parallel data ofthe musical instruments (signals of the same melody played with the diﬀerent musical instruments) are notnecessary. In the experiment, we conduct an XAB subjective test using two original instrumental sound and
one timbre-converted sound, which validates quality of timbre conversion of the proposed method.

1. はじめに対して精通していない者にとっては，芸術的価値を判断す
る材料がないため他者の主観的評価に頼らざるを得ない．

一般的に，個人の演奏や楽器本体の芸術的価値は，一定

そこで著者らは，複数の楽器音信号間の差異を客観的かの品質を超える範囲において，評価者の主観に基づいて評つ定量的に議論するための音響特徴量抽出手法の構築を目価される．例えば，「アマチュア奏者とプロフェッショナ

指し，新たな特徴量抽出手法を提案している [1]．本手法

ル奏者の演奏の差異」や「安価な楽器と高価な楽器の奏では，非負値行列因子分解（nonnegative matrix factorization:

る音の違い」が主観的に語られることは多い．しかしながNMF）[2], [3] と呼ばれる行列分解理論を用いて，複数の楽ら，これらの観点について主観を廃して定量的に議論する

器音信号間の「共通する音響特徴量」及び「固有の音響特方法はあまり確立されておらず，とくに音楽演奏や楽器に徴量」を同時に推定・抽出する新しいアルゴリズムである．

NMF における基底行列を複数の楽器音信号のモデル間で
1†1

香川高等専門学校
National Institute of Technology, Kagawa College
現在，豊橋技術科学大学
Presently with Toyohashi University of Technology

c 2021 Information Processing Society of Japan⃝

共有していることから，基底共有型 NMF（basis-shared

NMF: BSNMF）と呼ぶ．

1Vol.2021-MUS-131 No.10
Vol.2021-SLP-137 No.10
2021/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

音響信号中の頻出スペクトルが wk として得られ，さらに各スペクトルの時間的強度変化が hk となる．NMF は音
響信号中のスペクトルパターンを抽出できるため，音楽信号解析 [8] や音源分離 [9], [10], [11], [12] 等に適用される．

2.2 NMF における変数行列の最適化
NMF は次式の最適化問題により各変数行列を推定する．

Fig. 1 NMF for audio signals, where K = 2.

音響信号の解析では，これまでにピッチ，スペクトル包
絡，メル周波数ケプストラム係数 [4] 等様々な特徴量が考案され，広く利用されている．また，楽器音の物理現象を対象とした解析も歴史は古く，ピアノやヴァイオリン等，
個々の楽器の物理音響的側面から発音機構が解析されており [5]，2000 年以降では，楽器同定の分野で楽器音の音響
特徴量が各種検討されている [6], [7]．著者らの提案する

BSNMF で得られる音響特徴量が上記の歴史的に有名な特徴量と異なるのは，音響信号としての絶対的な特徴量ではなく，入力された複数の楽器音信号間の相対的な差異を表すことを目的としている点が挙げられる．このような複数の楽器音信号間の相対的な特徴量は，アマチュア奏者がよ
り良い演奏をするために必要な技術の提示や，より芸術的価値の高い楽器の設計製作等に役立てることができる他，
楽器音信号の音色変換にも応用することが可能である．
本稿では，BSNMF で推定される共通及び固有音響特徴量が有用であることを確認するために，これらの特徴量を用いた楽器音の音色変換アルゴリズムを提案する．また，
主観評価実験を実施し，音色変換の精度について調査する．

2. 既存手法

min D(X|W H) s.t. wik , hkj ≥ 0 ∀i, j, k

W ,H

(2)

ここで，X は観測された音響信号に STFT を適用して得られる振幅スペクトログラム，wik 及び hkj はそれぞれ W
及び H の要素，i = 1, 2, · · · , I 及び j = 1, 2, · · · , J はそれ
ぞれ周波数ビン及び時間フレームのインデクスを示す．また，D(·|·) は 2 つの入力行列間の類似度を測る関数である．
本稿では，次式で表される二乗 Euclid 距離を用いる．
(
)2
∑
∑
xij −
wik hkj
D(X|W H) =
(3)
i,j

k

このとき，変数行列 W 及び H は，いずれも非負の乱数で初期化したうえで，コスト関数値が収束するまで次の乗算
型更新式を反復的に計算することで最適化できる [3]．

XH T
W HH TW TX
H←H⊙W TW HW ←W ⊙(4)(5)

ここで，⊙ 及び行列の分数はそれぞれ要素毎の積及び商を表す．式 (4) 及び (5) は補助関数法 [13] と呼ばれる最適化
アルゴリズムで導出されたものであり，毎反復でのコスト関数の単調非増加性が理論的に保証されている．

2.1 NMF の概要
NMF [2], [3] は，次式に示すように，非負の観測行列を別の二つの非負行列の行列積に近似的に分解する．

X ≈ WH

2.3 BSNMF の分解モデル
BSNMF [1] では，複数の音響信号間の共通成分及び固有(1)

ここで，X ∈ RI×J
≥0 は全要素が非負の観測行列であり，W =[w1 w2 · · · wK ] ∈ RI×K及び H = [h1 h2 · · · hK ]T ∈≥0
RK×J
は NMF で推定すべき非負変数行列である．また，≥0·T は転置を表す．W 及び H はそれぞれ基底行列及びア
クティベーション行列と呼ばれる．wk は基底ベクトルと呼ばれ，その本数 K は K ≪ min(I, J) となるように設定される．ここで，k = 1, 2, · · · , K は基底ベクトルのインデ成分を推定する．いま，n 番目の観測信号の振幅スペクトn
ログラムを Xn ∈ RI×J
≥0 （n = 1, 2, · · · , N は観測信号のインデクス）と表すとき，次の連立低ランク近似を考える．

X1 ≈ W H 1 + F 1 H 1





 X2 ≈ W H 2 + F 2 H 2
(6)
..


.





XN ≈ W H N + F N H N

クスを示す．従って，NMF は X を W H で低ランク近似

ここで，W は全観測信号のモデルで共有される基底行列

する行列分解であり，X 中に頻出する少数（K 個）の潜在であり，X1 , · · · , XN 間で共通のスペクトルパターンを的なパターンを基底ベクトルとして抽出できる [2]．

K 個含む．従って，行列 W Hn は共通スペクトルパター

NMF を音響信号に適用する場合，短時間フーリエ変換

ンで表された Xn 中の成分（共通スペクトル成分）とな（short-time Fourier transform: STFT）を経て得られる振る．一方，基底行列 Fn = [fn1 fn2 · · · fnK ] ∈ RI×K
は≥0

幅（又はパワー）スペクトログラムを非負観測行列 X と

n 番目の観測信号 Xn にのみ含まれる固有のスペクトル成するのが一般的である．この場合，Fig. 1 に示すように，

分を K 個含んでおり，W + Fk として共有基底行列 W

c 2021 Information Processing Society of Japan⃝2

Vol.2021-MUS-131 No.10
Vol.2021-SLP-137 No.10
2021/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

アクティベーション行列を推定しており，「音楽」と「蜂の羽音」等のように音色が全く異なる音響信号同士の音色変換さえ実現している*1 ．この手法は信号間で時間フレームの同期を取る必要が無いという利点があるが，アクティ
ベーション行列の推定時に「要素音が時間的に連続しすぎない」・「同時に生起する要素音数が多くなりすぎない」・「要素音が時間的に途切れない」等の制約を与えて音質をFig. 2 Decomposition model in proposed basis-shared NMF,

担保せねばならず，各制約の強さの調整が必要となる．

where N = 2.

と合わせることで, Xn 中のスペクトルパターンとなる．
すなわち，固有基底行列 Fn とアクティベーション行列

Hn = [hn1 hn2 · · · hnK ]T

3. 提案手法
3.1 BSNMF を用いた音色変換n∈ RK×Jの行列積 Fn Hn は，≥0

本稿では，BSNMF で推定できる共通・固有スペクトルXn にのみ含まれる成分（固有スペクトル成分）を表現す

成分の活用例として，2 種の楽器音信号間の音色変換を実る．このような分解から，N 個の観測信号中の共通及び固現するアルゴリズムを提案する．提案手法では，2 種の楽有成分がそれぞれ推定できる．

器音信号の振幅スペクトログラムをそれぞれ X1 及び X2

なお，式 (6) では，固有成分のアクティベーション行列とし，式 (6) や Fig. 2 のように BSNMF でモデル化する．

Hn を共有基底行列 W と固有基底行列 Fn の間で共有する

変数行列 W ，F1 ，F2 ，H1 ，及び H2 を推定後は，固有基ことで，K 本の基底ベクトルのそれぞれに対する共通・固底行列 F1 及び F2 のみを次式のように入れ替える．
 W H 1 + F 2 H1 = Y 1

有成分への分解（wk 及び fk ）を実現している．基底ベク
トル単位での共通・固有成分への分解を必要としない場合

W H + F H = Y2
1 2
2

は，式 (6) の各近似式を Xn ≈ W Hn + Tn Gn に変更すれ
nn ×Jnばよい．ここで，Tn ∈ RI×K
及び Gn ∈ RK
である．
≥0
≥0

このモデルでは，W Hn 及び Tn Gn としてスペクトログラ
ム単位での共通・固有成分の抽出が可能となる他，固有成分と共通成分で異なる基底数を設定できる利点がある．両分解モデルは，推定された共通・固有成分の用途に応じて選択すればよい．本稿で示す音色変換への活用では，その実現方法に起因して，式 (6) を用いる必要がある．

2.4 NMF に基づく既存の音色変換手法
NMF に基づく音色変換は，これまでに声質変換 [14],[15], [16] を目的とした手法が提案されている．この手法では，変換前の話者（ソース）と変換後の話者（ターゲット）の同一発話内容のサンプル信号（パラレルデータ）を用意
し，dynamic time warping 等を適用してサンプル信号間の時間フレームの同期を取った 2 つのデータを NMF の基底行列として利用する．入力音声信号をソースの基底行列とアクティベーション行列でモデル化し，基底行列をター式 (7) では，共有基底行列及びアクティベーション行列を変I×J1
えずに固有基底行列のみを交換しているため，Y1 ∈ R≥0は，理想的には「X2 の音色に変換された X1 のメロディを含む音響信号の振幅スペクトログラム」となる．同様に，
I×J2
Y2 ∈ R≥0
は「X1 の音色に変換された X2 のメロディを含む音響信号の振幅スペクトログラム」として合成される．

3.2 二乗 Euclid 距離基準 BSNMF の反復更新式
式 (6) の変数行列 W ，Fn ，及び Hn を最適化する反復更新式は，通常の NMF と同様に補助関数法を用いて導出できる．文献 [1] では，一般化 Kullback–Leibler ダイバージェ
ンスを類似度関数に用いた場合の反復更新式が導出されているが，音色変換の用途においては式 (3) の二乗 Euclid 距離を用いたほうが高音質となることを実験的に確認している．そこで本稿では，二乗 Euclid 距離基準 BSNMF の補助関数法に基づく反復更新式の導出を示す．
最適化問題のコスト関数は次式となる．

ゲットの基底行列に差し替えることで声質変換が実現できる．同様のアプローチは楽器音の音色変換にも応用できるJ =と思われるが，パラレルデータを用意するコストが生じる=

ない場合は変換精度の劣化を招くことが予想される．

x̂ijn n =モザイキングのための手法が提案されている [17], [18]．この非負スペクトログラムそのものを基底行列としたうえで

c 2021 Information Processing Society of Japan⃝(xijn n − x̂ijn n )∑ [2x2ijn n + x̂2ijn n − 2xijn n x̂ijn nn,i,jnNMF を用いたより強力な音色変換として，オーディオ

ムを NMF の観測行列とし，さらにソースの音響サンプル∑
n,i,jnほか，サンプル信号間の時間フレームの同期が正しく取れの手法では，ターゲットの音響信号の非負スペクトログラ

(7)

∑
k

wik hkjn n +∑fikn hkjn n

]

(8)
(9)

k

ここで，jn = 1, 2, · · · , Jn は Xn の時間フレームのインデ*1

音色変換の音響サンプル：https://www.audiolabs-erlangen.
de/resources/MIR/2015-ISMIR-LetItBee

3

Vol.2021-MUS-131 No.10
Vol.2021-SLP-137 No.10
2021/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

クスを示す．また，xijn n ，fikn ，及び hijn はそれぞれ Xn ，Fn ，及び Hn の要素である．

同様に ∂J + /∂fikn = 0 及び ∂J + /∂hkjn n = 0 より，Fn
及び Hn の反復更新式は次のように得られる．

反復更新式を導出するために，式 (8) の第 2 項に関して

Fn ← Fn ⊙Jensen の不等式
]2
[
∑
∑
2
wik hkjn n +fikn hkjn nx̂ijn n =[Xn HnT(W Hn + Fn Hn ) HnT

(18)

T

Hn ← Hn ⊙(W + Fn ) Xn
T

(W + Fn ) (W Hn + Fn Hn )

(19)

k

k

]2
wik hkjn n ∑fikn hkjn n=αijn kβijn k+αijn kβijn k
k
k
(
)
(
)2
2
∑
∑
wik hkjn nfikn hkjn n≤αijn k+βijn kαijn kβijn k
k
k
)
(
2 2
2
∑ wik
hkjn nfikn
h2kjn n=+(10)αijn kβijn k∑k

3.3 スケールフィッティング
式 (17)–(19) を反復計算することで，変数 W ，Fn ，及びHn を最適化できる．その後，式 (7) のように固有基底行列
F1 及び F2 を入れ替えてスペクトログラム Y1 及び Y2 を得る．しかしながら，式 (7) において共有成分 W Hn と固有成分 Fn Hn がそれぞれどの程度のパワーを持っているかは
楽器音信号 n によって異なる．この原因は，BSNMF の最を適用し，J ≤ J + なる補助関数 J + を設計する．
(
)
[
2 2
2
∑ wik
∑
fikn
hkjn nh2kjn n+2xijn n ++J =αijn kβijn kn,i,jnk)](∑∑fikn hkjn n(11)
wik hkjn n +− 2xijn nkk

ここで，αijn k , βijn k > 0 は∑

k αijn k +∑適化問題が「Xn と W Hn + Fn Hn の類似度の最小化」として定式化されているためである．即ち，楽器音信号 n 間で基底行列 W は共有されているが，W と Hn の間にはスケールの任意性（a > 0 に対して W Hn = (aW )(Hn /a)）が存在するため，共有成分 W Hn と固有成分 Fn Hn のパ
ワーバランスは楽器音信号 n によって異なる．この状態で

k βijn k = 1 を満たす補助変数であり，式 (10) の等号成立条件は

wik hkjn n
∑
′
′
h
w
k′ fik′ n hk′ jn n
k′ ik k jn n +fikn hkjn n∑βijn k = ∑′ hk ′ j n +w′
ikn
k′ fik′ n hk′ jn nkαijn k = ∑固有基底行列 Fn を Fm （ただし，m ̸= n は変換先の楽器
音信号のインデクス）に入れ替えても，構成されるスペク

(12)
(13)

トログラム W Hn + Fm Hn は歪んだ信号となってしまう．
この問題の解決策として，固有基底行列 Fn を Fm に入れ替えた後に，Fm 中の各基底ベクトル fkm のスケールを
観測信号 Xn のスケールにフィッティングさせる処理を施となる．即ち，補助変数が式 (12) 及び (13) を満たすとき唯

す．いま，楽器音信号 Xn を m 番目の楽器音信号の音色

一，J + は補助変数に関して最小化され J + = J となる．

に変換する場合，次式のモデルを仮定する．

次に，補助関数 J+

を各変数で偏微分し反復更新式を求Xn ≈ W Hn + (Fm Dn )Hn+

める．∂J /∂wik = 0 より，()∑
wik h2kjn n
2− 2xijn n hkjn n = 0
αijn k(20)

ここで，スケール行列 Dn ∈ RK×K
は各固有基底ベクトル
≥0

(14)

n,jn

fkm の大きさを定める係数 dkn ≥ 0 を対角要素に持つ対角行列である．式 (20) の分解モデルにおいて，左辺と右辺が得られ，式 (14) を wik について解くと次式となる．
∑
n,j xijn n hkjn n
wik = ∑ n 2(15)n,jn hkjn n /αijn kをできるだけ近似するスケール行列 Dn を求めることでス

従って，式 (12) 及び (13) による補助変数の更新と式 (15)min D [Xn |W Hn + (Fm Dn )Hn ] s.t. dkn ≥ 0 ∀k, n

による wik の更新を反復することで，本来のコスト関数で(21)ある J を間接的に最小化できる．式 (12) 及び (13) を式(15) に代入することで，より簡潔な反復更新式が得られる．
∑
n,jn xijn n hkjn n∑∑∑wik ← wik′(wh′ik k′ jn n +kk′ fik′ n hk′ jn n ) hkjn nn,jn

ケールフィッティングができる．これは，次の最適化問題に帰着する．

Dn

式 (21) の最適化問題は，通常の NMF と同様に補助関数法に基づく反復更新式として解くことができる．導出は

3.2 節と同様であるため割愛するが，二乗 Euclid 距離のコスト関数では次式の反復更新式が導かれる．

(16)
式 (16) を行列形式で表すと次式となる．
∑
Tn Xn H n
W ←W ⊙∑Tn (W Hn + Fn Hn ) Hn

c 2021 Information Processing Society of Japan⃝D n ← Dn ⊙
(17)

T
Fm
Xn HnT
T
Fm [W Hn + (Fm D)Hn ] HnT(22)

この反復更新式で Dn を求めることで，音色変換された楽器音信号は Yn = W Hn + (Fm Dn )Hn として得られる．

4

Vol.2021-MUS-131 No.10
Vol.2021-SLP-137 No.10
2021/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

この振幅スペクトログラムに，Xn に対応する位相スペク
トログラムを付与して逆 STFT を施すことで，歪みのない
音色変換された楽器音信号が得られる．

Score 1

Score 2

4. 主観評価実験

Score 3

4.1 実験条件
本実験では，MIDI 音源で作成した楽器音信号 X1 及びX2 を用いた．各楽器音信号は，Fig. 3 の楽譜に基づき，ピアノ音源 Iowa Piano*2 及び Sketch Upright Piano*3 により電子的に生成した．ここで，Iowa Piano 及び Sketch

Score 4
Score 5
Score 6

Upright Piano はそれぞれグランドピアノ及びアップライ
トピアノのサンプリング音源である．STFT の窓長及びFig. 3 Music scores used in experiment of timbre conversion.

シフト長はそれぞれ 92.9 ms 及び 23.2 ms とし，窓関数はHamming 窓を用いた．基底数 K の値は Fig. 3 の楽譜毎にた同じ楽譜の楽器音信号を A と B として被験者に提示す変更し，音色変換後の音質が最良となるように調節した．

る．その後，X として，音色変換後の同じ楽譜の楽器音信式 (17)–(19) を 1000 回反復して各変数行列を推定した後，号を提示し，A と B のどちらに近いかを回答させる ABX

式 (20) を 1000 回反復し，音色変換後の信号を生成した．

法を実施した．このような提示は，X が A 又は B そのも

Fig. 3 の楽譜は，Score 1 及び 2 が 1–3 音の和音，Score 3のではないため本来の ABX 法とは異なるが，次の 2 つの及び 4 は 2–4 音の和音，Score 5 及び 6 は 2–5 音の和音で前提条件が成立するならば，「A と B には差がない」といそれぞれ構成される．そして，Score 1 及び 2 は 3 個の基本

う帰無仮説を棄却できる場合に音色変換が高精度であるこ音（C4 音，E4 音，及び G4 音）が存在し，その他の和音はとを示す．

この 3 個の基本音の組み合わせである．同様に，Score 3–6
も 4 個の基本和音が存在し，その他の和音は基本和音の組
み合わせである．

• A と B の音色は明らかに差がある• A と B の音色の違いは全被験者が完全に区別できる
1 つ目の前提条件は，異なる MIDI 音源を用いていること

本実験において，前節の方法で高精度に音色が変換されから成立する．2 つ目の前提条件は，2 年以上の楽器経験者

たかどうかを評価するために，ABX 法に基づく主観評価

を被験者として採用することで成り立つものと仮定する．

実験を実施した．ABX 法とは，被験者に対して A と B を実際に今回用いた Iowa Piano と Sketch Upright Piano はまず提示し，その後に続けて A と B のいずれかである X

明確に音色差が聴感上感知できるものであるため，上記のを提示する実験である．被験者は最後に提示された X が A

2 つの前提条件は成立しているとみなしてよい．

と B のどちらと等しいかを回答する．ABX 法では「A と前述のとおり，2 年以上の楽器経験者 14 名（男性 7 名及B には差がない（区別できない）」ことを帰無仮説とし，上び女性 7 名）を対象に主観評価実験を行った．楽譜は Score

記試問に対する回答を複数集めることで，帰無仮説が棄却

1 と Score 2，Score 3 と Score 4，Score 5 と Score 6 をそれできるか否か，即ち A と B が本当に区別可能であるか否

ぞれペアとして BSNMF に基づく音色変換を適用することかを有意水準に基づき検定する．今，得られた回答数（標で，各楽譜について Sketch Upright Piano を Iowa Piano に本数）を Nanswer とし，全試問中の正答数 Ncorrect とする．

音色変換した合成音，Iowa Piano を Sketch Upright Piano

帰無仮説が正しいならば，提示された X に対して「X はに音色変換した合成音の合計 12 個の楽器音信号を用意し，

A か B か」という問いには正当も誤答も期待確率 0.5 であ

これを提示音 X とした．この 12 個の X の音源それぞれる．ABX 法では，被験者は 2 つの選択肢の内 1 つを選ぶに対して，「A を Iowa Piano，B を Sketch Upright Pianoと正当か誤答かが決するため，自由度 1 のカイ二乗分布でとした場合」及び「A を Sketch Upright Piano，B を Iowa

2の検定が可能である．このとき，χ の値は次式となる．

χ2 =4
Nanswer(
Ncorrect −Nanswer2

Piano とした場合」の 2 パターンを考え，合計 24 個の ABX
音源を被験者に提示した．このとき，A と B と X は全て

)2
(23)

同じ Score の楽器音信号とした．また，A と B の間及び Bと X の間にはそれぞれ 1 秒の無音区間を挿入した．なお，

カイ二乗分布の値より，χ > 3.84 ならば有意水準 5 %で，24 個の音源の提示順は被験者毎にランダムとし，各問の聞χ2 > 6.63 ならば有意水準 1 %で帰無仮説が棄却される．

き直しは 2 回までとした．

2

本節の主観評価では，2 つの異なる MIDI 音源で生成し*2*3

https://vst4free.com/plugin/2294/
https://vis.versilstudios.com/upright-1.html

c 2021 Information Processing Society of Japan
⃝4.2 実験結果
14 名の被験者の各回答の χ2 値の箱ひげ図を Fig. 4 に示

5Vol.2021-MUS-131 No.10
Vol.2021-SLP-137 No.10
2021/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

Table 1 Accuracy and χ2 value of each subject
ID
Age
Gender Accuracy [%] χ2 value
Subject no.1

20s

Female

70.83

4.17

Subject no.2

30s

Female

66.67

2.67

Subject no.3

30s

Female

75.00

6.00

Subject no.4

20s

Male

70.83

4.17

Subject no.5

20s

Male

87.50

13.50

Fig. 4 Box plot of χ2 values for chi-squared test. Central line

Subject no.6

Teens

Male

83.33

10.67

of box plot indicates median, cross mark in box indi-

Subject no.7

Teens

Male

83.33

10.67

cates average, and left and right edges of box indicate

Subject no.8

Teens

Male

70.83

4.17

25th and 75th percentiles, respectively.

Subject no.9

Teens

Female

75.00

6.00

Subject no.10

Teens

Female

54.17

0.17

Subject no.11

Teens

Male

79.17

8.17

算出した正答率及び χ 値を Table 1 に示す．Fig. 4 から，Subject no.12

20s

Female

75.00

6.00

χ2 値が多くの被験者において有意水準 5% よりも高い値にSubject no.13

20s

Male

87.50

13.50

位置することがわかる．例えば，全被験者の結果での中央

Subject no.14

20s

Female

83.33

10.67

す．また，各被験者の年代及び性別の情報と回答結果から
2

値は χ2 = 6 となった．また Table 1 より，正答率が 50 %を下回る被験者はいなかった．以上の結果より，有意水準

5 %で「A と B は差がない」という帰無仮説が棄却でき，前節で述べた通りこの結果は音色変換を高精度にできてい

参考文献
[1]
[2]

るという結果を表している．
実験後に被験者にヒヤリングを実施したところ，一部の[3]

被験者は 2 種類のピアノ音がグランドピアノとアップライ[4]

トピアノの違いであることを認識できていた．当該被験者らの主張では，これらの違いは高周波帯域に明確に現れており，「低音の豊かな柔らかい音がグランドピアノ」及び

[5]
[6]

「高音の豊かなきらびやかな音がアップライト」等と形容された．そして，「提示音 X がこれらの違いを十分反映し[7]ており，それを手がかりとして識別できた」という意見があり，これは音色変換した音が，変換先の種類のピアノと[8]

して十分認識できることを示している．従って，被験者が形容した「低音の豊かな柔らかい音」や「高音の豊かなき
らびやかな音」は固有基底行列 F1 及び F2 で表現されており，このような楽器経験者の主観的な形容を，F1 及び F2

[9]
[10]

のスペクトルとして定量的に議論できる大きな可能性を示唆している．

[11]

5. まとめ
本稿では，複数楽器信号間の共通・固有成分を教師無し[12]

学習として抽出できる BSNMF を紹介し，推定された各成分の用途の一つである音色変換アルゴリズムを新たに提案した．提案手法では，固有成分を楽器音信号間で交換することで音色変換を実現しており，複数楽器音信号のパラレ
ルデータを必要としない点に大きな利点がある．主観評価

[13]
[14]
[15]

の結果より，人が認知可能な精度で音色変換が成功していることが確認された．今後の課題として，提案手法と同様[16]にパラレルデータを必要としない音色変換手法 [17], [18] と精度を比較することが挙げられる．
謝辞 本研究の一部は，公益信託小野音響学研究助成基金の助成を受けた．

c 2021 Information Processing Society of Japan
⃝

[17]
[18]

香西海斗, 北村大地, “基底共有型非負値行列因子分解に基づく楽器
音の共通・固有成分の分析,” 日本音響学会 2021 年春季研究発表会
講演論文集, pp. 1109–1112, 2021.
D. D. Lee and H. S. Seung, “Learning the parts of objects by
non-negative matrix factorization,” Nature, vol. 401, no. 6755,
pp. 788–791, 1999.
D. D. Lee and H. S. Seung, “Algorithms for non-negative matrix factorization” Proc. NIPS, pp. 556–562, 2000.
F. Zheng, G. Zhang, and Z. Song, “Comparison of diﬀerent implementations of MFCC,” J. Comput. Sci. and Tech., vol. 16,
no. 5, pp. 582–589, 2001.
N. H. Fletcher and T. D. Rossing, “The physics of musical instruments,” Springer Sci. & Business Media, 1991.
T. Kitahara, M. Goto, K. Komatani, T. Ogata, and
H. G. Okuno, “Musical instrument recognizer “instrogram” andits application to music retrieval based on instrumentation similarity,” Proc. Int. Symp. Multimedia, pp. 265–274, 2006.
C. Joder, S. Essid, and G. Richard, “Temporal integration foraudio classiﬁcation with application to musical instrument classiﬁcation,” IEEE Trans. ASLP, vol. 17, no. 1, pp. 174–186,
2009.
C. Févotte, N. Bertin, and J.-L. Durrieu, “Nonnegative matrix factorization with the Itakura-Saito divergence. With application to music analysis,” Neural Comput., vol. 21, no. 3,
pp. 793–830, 2009.
D. FitzGerald, M. Cranitch, and E. Coyle, “On the use of thebeta divergence for musical source separation,” Proc. Irish Signals Syst. Conf., 2009.
D. Kitamura, H. Saruwatari, K. Yagi, K. Shikano, Y. Takahashi, and K. Kondo, “Music signal separation based on supervised nonnegative matrix factorization with orthogonality andmaximum-divergence penalties,” IEICE Trans. Fundamentals,
vol.E97-A, no.5, pp.1113–1118, 2014.
D. Kitamura, H. Saruwatari, H. Kameoka, Y. Takahashi,
K. Kondo, and S. Nakamura, “Multichannel signal separation
combining directional clustering and nonnegative matrix factorization with spectrogram restoration,” IEEE/ACM Trans.
ASLP, vol. 23, no. 4, pp. 654–669, 2015.
D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and
H. Saruwatari, “Determined blind source separation unifying
independent vector analysis and nonnegative matrix factorization,” IEEE/ACM Trans. ASLP, vol. 24, no. 9, pp. 1626–1641,
2016.
D. R. Hunter and K. Lange, “A tutorial on MM algorithms,”
The American Statist., vol. 58, no. 1, pp. 30–37, 2004.
R. Takashima, T. Takiguchi, and Y. Ariki, “Exemplar-based
voice conversion in noisy environment,” Proc. IEEE Spoken
Lang. Tech. Workshop, pp. 313–317, 2012.
R. Aihara, T. Nakashika, T. Takiguchi, and Y. Ariki, “Voice
conversion based on non-negative matrix factorization usingphoneme-categorized dictionary,” Proc. ICASSP, pp. 7944–
7948, 2014.
李権俊, 相原龍, 滝口哲也, 有木康雄, “複素 NMF を用いた声質変換の検討,” 日本音響学会 2016 年秋季研究発表会講演論文集, pp.
277–280, 2016.
J. Driedger, T. Prätzlich, and M. Müller, “Let It Bee – Towards
NMF-inspired audio mosaicing,” Proc. ISMIR, pp. 350–356,
2015.
池田将也, 小坂直敏, “NMF を用いたサウンドコラージュの合成,”
情報処理学会研究報告, vol. 2020-MUS-126, no. 8, pp. 1–6, 2020.

6