情報処理学会研究報告
IPSJ SIG Technical Report

声と背景音のボリュームバランス調整に向けた音源分離
西山 正志†1

広畑 誠†1

小野 利幸†1

本稿では，音の入力信号から背景音情報をリアルタイムに学習することで，人の声と背景音の音源信号を推定する，遅延なし音源分離手法を紹介する．本手法をデジタル映像機器に適用することで，映像コンテンツを視聴している際に，人の声を聴き取りやすくする，背景音を静かにする，スポーツの臨場感を感じやすくする，歌の練習に用いるといった新しい機能をユーザに提供することを狙う．実際に，遅延なし動作で端末を選ばないため，処理が軽く，効果をその場で体感しながら視聴できる効果を確認した．また，声と背景音を個別に学習するため，多様なコンテンツで声と背景音を精度よく推定できる効果を確認した．

1. はじめに様々なデジタル映像機器の普及に伴い，映像コンテンツの視聴方法が多様化し，かつ手軽に行えるようになった．
しかし，人の声が音楽など背景音に埋もれて聴き取りにくい場合や，歓声など背景音が小さく臨場感を楽しめない場合など，必ずしも快適な視聴ができるとは限らなかった．
そのため，人の声や背景音の強調など，音源毎のボリューム調整を目的とした高音質化機能への期待が高まっている．
しかし，従来の高音質化機能では，映像シーンや音声の収Fig. 1 Overview of proposed method

録方式など，入力信号の特性が変わると，音源信号の推定

図 1 提案手法の概要が不十分で，音質が劣化するという問題があった．
そこで，本稿では，音の入力信号から背景音情報を学習，更新しながら人の声と背景音の音源信号を推定する，遅延2. 問題設定の生じない音源分離手法を紹介する．図 1 に開発した手法

人の声を強調できるイコライザ機能や，背景音を抽出・の概要を示す．この手法はデジタル映像機器全般で汎用的強調できるボーカル抑制機能[1]など，音源毎のボリュームに活用することが考えられ，以下にその可能性の具体例を調整を目的とした高音質化機能は従来から広く開発されて列挙する．

いる．しかし，従来のイコライザ機能は，予め定めた声が本手法は処理が軽く，端末に依存しないため，効果をそ含まれやすい帯域は強調し，声が含まれにくい帯域は抑制の場で体感しながら視聴できるといったことが考えられる．

する制御を行うため，シーンによって声が十分に強調できまた，声と背景音を個別に逐次学習するため，シーンや収ない場合や，背景音が抑制できない場合がある．また，従録方式によらず多様なコンテンツへ適用することが考えら

来のボーカル抑制機能は，L R チャンネルのセンター成分れる．更に，音楽，歓声，雑音など様々な背景音へ柔軟に（同一位相，同一振幅）に記録された人の声を抑制するた対応できるため，ホームビデオのようなアマチュアが作成め，センター成分に記録された背景音も抑制してしまう難したコンテンツに対しても有効であると考えられる．すな点がある．このように，従来手法では，シーンや音声の収わち，多様なコンテンツに対して効果を汎用的に発揮でき録方式など，入力信号の特性が変わると，音源信号の推定る可能性がある．

が不十分で効果が得られない問題があった．

また，本手法をデジタル映像機器に適用することで，映以下では，上記の問題点を解決するために，入力信号か像コンテンツを視聴している際に，人の声を聴き取りやすら背景音情報を更新しながら人の声と背景音の音源信号をくできる，背景音を静かにできる，スポーツの臨場感を高逐次推定する遅延なし音源分離手法を紹介する．本手法は，められる，歌の練習ができるといった新しい機能をユーザ

イコライザ機能やボーカル抑制機能に比べ，音源信号の推に提供できるポテンシャルを秘めている．

定が高精度に行える効果がある．

提案手法の詳細[6]は発表済みであり，本稿では，その応用の可能性と技術の概要を紹介する．

3. 音源分離技術
本手法は，背景音成分を一定時間毎に入力信号から学習，更新することで，入力信号の特性変化に対応する．背景音†1 (株)東芝 研究開発センター
TOSHIBA Corporation
Corporate Research and Development Centerⓒ2013 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report
成分の学習において，学習区間の平均スペクトルで成分を近似する方法[2]は，高速な処理が可能であるが，時間毎に[3]非定常成分学習
背景音の非定常成分は，NMF を用いた学習により求めたに基複数の基底と，時刻毎に推定した異なる係数（アクティビづく非定常成分を推定する方法[4] では，スペクトルを用いティ）との演算により表現することが可能である．NMF変動する非定常な成分が推定できない．一方，NMFたベクトル演算が必要なため，スペクトルが高次元になるにおける計算コストを削減するため，スペクトル Y( t) をにつれ，少ない計算コストで遅延なしの処理を実現するのメル周波数軸上での 32 次元の特徴ベクトル Ymel(t) = [ Ymel(0,が困難になる問題があった．

t), …, Ymel(31, t) ]T に変換する．特徴変換後，複数の特徴 Ymel
= [ Ymel(k), …, Ymel(k+K-1) ] と事前に作成した声基底行列 V= [ V0, V1, …, VJ-1 ] を用いて，式 (1) を近似する背景音基

入力信号取得底 B = [B0, B1, …, BJ-1] を学習する．なお，Vj , Bj は 32 次元
和信号スペクトル生成

差信号スペクトル生成
背景音情報の学習

非定常成分学習

背景音基底

定常成分学習のベクトル，UV , UB は基底に対応する係数行列で，基底数 J は声及び背景音共に 64 とした．

Ymel  VU B  V U B (1)

平均スペクトル

3.2 音源信号の生成
入力信号に対し，遅延なしで音源分離を行うために，背声基底
音源信号の生成

音源スペクトル推定

景音情報の更新処理とは異なり，スペクトル単位で音源信号を生成する．

音源特徴推定初期背景音スペクトル

音源特徴推定まず NMF を用いて音源毎の特徴を推定する．入力スペ

声スペクトル

声信号生成

背景音信号生成

Fig. 2 Flow diagram of proposed method
図 2 音源分離手法の流れ

クトル X( t) をメル周波数軸上での特徴ベクトル Xmel(t)に変換した後，声基底 V と背景音基底 B を用いて式 (2) を近似する係数ベクトル U(t) = [ UV(t), UB(t) ]T を推定する．
基底と係数の対応関係から声特徴 Vmel(t) と背景音特徴

そこで本手法は，背景音情報の学習について NMF のベBmel(t) を求める．

クトル演算を低次元化して行い，低次元化による推定劣化

X mel (t )  Vを補うため，平均スペクトル（定常成分）も活用して音源信号の生成を行う．

U (t )B  V U B (t )

(2)

本稿で提案する音源分離手法の流れを図 2 に示す．2ch

Vmel (t )  V  U V (t )(3)以下の信号を対象とし，まず，L 信号と R 信号の和信号及Bmel (t )  B U B (t )(4)び差信号から FFT によりスペクトル X( t)，S( t) を生成する．なお，入力信号が 1ch の場合は入力信号を和信号とし，差信号は 0 とする．以下，処理の詳細を説明する．

音源スペクトル推定

3.1 背景音情報の学習

成分を考慮して求めた推定値（音源特徴推定の結果）と，音源スペクトルの推定では，NMF を用い背景音の非定常背景音情報は，L 信号と R 信号の両方の成分を含む和信号から学習する．

背景音の定常成分（平均スペクトル）を考慮して求めた推定値をアルファブレンドする．
まず，推定した音源特徴 Vmel(t) と Bmel(t) を周波数軸上定常成分学習に逆変換し，非定常成分を考慮した声成分 V1( t)，背景音

まず，背景音の定常的な成分を抽出するため，複数のス成分 B1( t) を求める．ここで，NMF において，背景音基

ペク ト ル{Y(t)}t=k, …, k+K-1 の 平 均 値 A( ) を 求める．

底は声基底に比べ少ないデータで学習しているため，背景Y(t) は背景音学習用に声成分を抑制したスペクトルで音成分は十分な推定ができていないと考えられる．そこで，あり，入力スペクトル X( t) に対する予め定めた帯域毎劣化成分の補間処理として，背景音成分 B1( t) には過去の重み付けで求める．なお，開始時刻 k ，スペクトル数 Kの推定値との最大値 B’1( t) を求める．

は実験的に設定した．

ⓒ2013 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report

B1 ( , t )  max B1 ( , t )k  t t(5)

次に，背景音の定常成分（平均スペクトル）を考慮した

4.

評価実験

4.1 処理コスト測定

声成分 V2( t) 及び背景音成分 B2( t) を求める．定常成

本手法はスペクトル単位の逐次処理を行っており，遅延分に時刻毎の変動成分を加えるため，非定常成分を考慮しのない音源分離処理であるかは，実時間での動作が可能かた背景音成分 B1( t) と平均スペクトルの最大値で背景音否かで確認できる．サンプリングレート 48kHz，ビットサ成分 B2( t) を設定する．

イズ 16bits の 2ch 信号を対象として，1 秒間の入力信号にB2 ( , t )  max B1 ( , t ), A( ) (6)で測定した命令回数は 326 M cycles であった．なお，スペ一 方 ， 声 成 分 V2( t) は 入 力 ス ペ ク ト ル と 背 景 音 成 分
B2( t) の差分とする．

V2 ( , t )  X ( , t )  B2 ( , t )対する動的命令回数を求めた結果，Intel® Core™ i5 の CPU
クトルの次元数は 1024 とした．表 1 に示したように，背景音情報の学習と音源信号の生成は，処理過程にて入力スペ(7)クトルを 1/32 のサイズのメル周波数軸に変換したことで，FFT 及び IFFT に比べ少ない命令回数に抑えることができ

背景音の非定常成分，定常成分を考慮して求めた音源成分の推定値をアルファブレンドし，声と背景音成分の比から声スペクトル及び背景音スペクトル V(t)，B( t) を求める．アルファブレンドするために用いた変数 は予備実た．次に，モバイル機器での処理時間を NVIDIA® Tegra®3
1.3GHz CPU で計測した結果，入力 1 秒あたり 603ms となり，実時間動作を確認できた．

験の結果，0.8 に設定した．

V3 ( , t )  (1   )V1 ( , t )  V2 ( , t )B3 ( , t )  (1   ) B1 ( , t )  B2 ( , t )V ( , t ) B ( , t ) 表 1 計算コスト(8)

Table 1 Calculation cost

(9)

処理項目

V3 ( , t ) X ( , t ) (10)V3 ( , t )  B3 ( , t )

命令回数

占有率

FFT 及び IFFT

223 M cycles

68%

背景音情報の学習

17 M cycles

5%

音源信号の生成86 M cycles

26%

合計

326 M cycles

100%

B3 ( , t ) X ( , t ) (11)V3 ( , t )  B3 ( , t )4.2 評価尺度

声信号生成

評価では，混合前の声及び背景音と，声と背景音の混合声信号は入力した和信号に含まれるとの仮定を置き，声スペクトル V(t) に IFFT を行うことで求める．

音から分離した信号の近さを測定した．混合前の信号が再現できれば，より効果的な音源調整が可能だと考えられる．
目 的 音 に 対 し 生 成 し た 信 号 の 近 さ を 測 る 尺 度 と して ，背景音信号生成

ITU-T 勧告 P.862 の PESQ[5] を用いた．この尺度は背景音の背景音信号生成にあたり，音源スペクトル推定で求めた評価向けには設計されていないが，予備実験の結果，主観

背景音スペクトル B( t) は初期背景音スペクトルとして評価結果との相関が確認できたため用いることとした．

扱い，入力した差信号にて表現される成分を加える．しかし実際には，差信号が 0 となる（L 信号と R 信号が同じ）

4.3 比較手法

またはノイズが含まれるコンテンツも存在するため，差信声の評価では，混合音である入力信号（Input），提案手号スペクトル S( t) の大きさに応じて最終的な背景音ス法で生成した声信号（Proposed），従来手法として声の強調

ペクトル B’( t)を目的としたイコライザの出力（Conventional）を比較した．

を求め，IFFT を行う．なお，は閾値， ( ) は帯域毎の重み係数である．

なお，従来手法における信号の帯域制御は，一般的に用いB(, t)  ()  B(, t)  S(, t) S(, t)  
B(, t )S(, t)  られるパラメータ値を参考に実装した．
(12)

背景音の評価では，入力信号，提案手法で生成した背景音信号（Proposed），従来手法としてボーカル抑制の出力（Conventional）を比較した．なお，従来手法では差信号と中域成分を除いた和信号を加算する一般的な手法を実装した．

ⓒ2013 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report
4.4 評価データ

Input

人の声には男性 3 名，女性 2 名が発声している計 20 秒

Conventional

Proposed

3.50のデータを用いた．一方，背景音は，音楽，雑音，歓声と3.00

PESQ

いっ た 背 景 音 の 種 類 毎に 評 価を 設 定し た ．音 楽 背 景 音（Music）には，ドラマ，音楽番組，ニュースなどのコンテンツに流れる BGM を想定した，音楽 2 種類を用いた．雑

2.50
2.00

音背景音（Noise）には，収録環境を想定し，展示会場と街1.50

中の音を用いた．歓声背景音（Sports）には，野球場での1.00
0 5 10 15 0 5 10 15 0 5 10 15
SNR(Music) SNR(Noise) SNR(Sports)

音（屋外競技）とバレーボールが行われている体育館での音（屋内競技）を用いた．また，声と背景音の混合率（SNR）には 0dB, 5dB, 10dB, 15dB の 4 種類を用いた．

Fig. 4 Evaluation results of voice
図 4 声の評価結果

4.5 声の評価
図 3 に，評価に用いたスペクトルの例として，混合前の4.6 背景音の評価声信号，音楽を SNR 0dB で混合した入力信号，従来手法及図 5 には，評価に用いたスペクトルの例として，SNR 0dB

び提案手法の出力を 8kHz（中域成分）まで示している．提で混合する前の音楽信号，従来手法及び提案手法の出力を案手法では，特に 2～8kHz でより声信号に近い信号を生成示している．なお，従来手法及び提案手法の 2 つ目の出力していることが分かる．

は，差信号が 0 となる（L 信号と R 信号が同じ）場合であ

図 4 は，声の評価結果であり，背景音の種類毎に PESQる．差信号が 0 の場合，従来手法であるボーカル抑制では，の平均値を求めた．結果より，提案手法は従来手法である背景音のほとんどの成分が抑制された．一方，提案手法でイコライザに比べ，混合前に近い声信号を得ることが確認

は，差信号が 0 でない場合に比べ推定精度の劣化は認めらできた．

れるものの，元の信号に近い出力が得られた．
図 6 は背景音の評価結果である．SNR が小さく背景音の8占める割合が大きくなるにつれて，従来手法よりも提案手Voice6法の方が効果的であることを確認した．これは提案手法が4和信号から抽出した背景音成分を活用したことで，従来手2法では表現しにくい中域成分も出力できたためだと考えら

0れる．
Input

また，図 7 はモノラル録音のように入力信号の差信号が60 である場合の評価結果である．提案手法では，差信号が 04でない場合と比べ性能劣化があるものの，入力信号を処理2しない場合に比べ，効果を維持することができた．

0

最後に，提案手法を用いることで，声と背景音のボリュConventionalームバランス調整に向けた音源分離の機能を実現したサン

6プルアプリケーションを図 8 に示す．ユーザは声と背景音4のボリュームバーをそれぞれ自由に調整することで，好み2Frequency [kHz]0に応じた音源毎のバランスを制御することができる．
Proposed

65.

4本稿では，音の入力信号から人の声と背景音の音源信号

20

おわりにを推定する音源分離技術を紹介した．本技術は，映像コン
300

Frame 600

Fig. 3 Samples for voice evaluation
図 3 声の評価に用いたスペクトルの例

900

テンツを視聴する際に，人の声を聴き取りやすくできる，背景音を静かにできる，スポーツの臨場感を高められる，歌の練習ができるといったユーザメリットを提供することを狙っている．また，本技術はデジタル映像機器全般に汎用的に活用できると考えている．
この手法は，背景音の定常・非定常成分を学習，更新しながら，声及び背景音の音源信号を遅延なしで推定する．

ⓒ2013 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report
客観評価にて，音源信号の推定が，イコライザ機能やボーInput

カル抑制機能に比べて高精度に行えることを確認した．

1.50

8PESQ

2.00のアプリケーションの実現，非定常成分の推定に NMF 以検討する必要がある．

1.00
0.50
0.00

Background Sound-0.50

60 5 10 15 0 5 10 15 0 5 10 15
SNR(Music) SNR(Noise) SNR(Sports)

420

Proposed

2.50

今後の課題として，デジタル映像機器に組み込んだ形で外の方法を用いた場合や MOS 値による主観評価について

Conventional

Fig. 7 Evaluation results of background sound for monophonicaudio

Conventional (L≠ R)

6

図 7 入力信号の差信号が 0 である場合の評価結果

420

Proposed (L≠ R)

64
20

Conventional (L=R)

64

Fig. 8 Sample application

2Frequency [kHz]0

図 8 サンプルアプリケーション
Proposed (L=R)

6

参考文献

4[1]

20300

Frame 600

900[2]

Fig. 5 Samples for background sound evaluation
図 5 背景音の評価に用いたスペクトルの例

[3]

[4]
Input

Conventional

Proposed

3.00

[5]
[6]

PESQ

2.50
2.00

Stereo Signal Processing Apparatus, U.S. Patent No.
6,690,799, 2004, H. Iwase and T. Kubota.
S.F. Boll, Suppression of Acoustic Noise in Speech Using
Spectral Subtraction, IEEE Trans. ASSP, vol. 27,pp.113-120, 1979.
D.D. Lee and H.S. Seung, Algorithms for nonnegative
matrix factorization, Proc. NIPS, vol. 13, pp. 556-562,
2000.
M. N. Schmidt, J. Larsen and F. Hsiao, Wind NoiseReduction using Non-negative Sparse Coding, Proc.
MLSP, 2007.
PESQ, ITU-T Recommendation P.862, 2001.
広畑誠, 小野利幸, 西山 正志, 多様な映像コンテン
ツに対応した遅延なし音源分離技術, 日本音響学会
春季研究発表会, 2013.

1.50
1.00
0.50
0 5 10 15 0 5 10 15 0 5 10 15
SNR(Music) SNR(Noise) SNR(Sports)

Fig. 6 Evaluation results of background sound for stereophonicaudio
図 6 背景音の評価結果ⓒ2013 Information Processing Society of Japan5