アクティベーション共有型非負値行列因子分解を用いた音像深度推定◎宮内 智, 北村 大地, 猿渡 洋, 中村 哲 （奈良先端大・情報科学研究科）
1. 研究背景と目的

5. 提案手法における特徴量抽出
非負値行列因子分解 (nonnegative matrix factorization: NMF)

既存のコンテンツでは各音源
既存のコンテンツでは各音源がのコンテンツでは各音源が 2ch に混合されて収録されているため，混合されて収録されているため，音像収録されているため，音像ごとに操作することが出来ないごとに操作することが出来ない
ある特定の映像だけが移動した場合に，ある特定の映像だけが移動した場合に，映像に合わせて特定の音源だけ映像に合わせて特定の音源だけを操作合わせて特定の音源だけを操作する事ができないする事ができない

既存の音響システム

3D TV の映像

非負行列を2つの非負行列の非負行列を つの非負行列の行列積で表すスパース表現手法

既存の音響システム

3D TV の映像: スペクトログラム: 基底行列

Amplitude

3D テレビ等によって立体感のある奥行をテレビ等によって立体感のある奥行を持たせた映像を呈示する事が可能持たせた映像を呈示する事が可能
既存の音響
既存の音響システムではディスプレイよりの音響システムではディスプレイより前方に定位する前方に定位する音像の再現は困難
定位する音像の再現は困難
音像と映像の知覚上の位置が一致せず音像と映像の知覚上の位置が一致せず視聴者は違和感を感じてしまう
視聴者は違和感を感じてしまう

Frequency

混合音源問題Frequency

音像定位操作問題: アクティベーション行列: 周波数ビン数: 時間フレーム数: 基底数

AmplitudeTimeスペクトログラム中で頻出スペクトログラム中で頻出するスペクトルパターンするスペクトルパターン

Timeが現れるタイミング
及び音量を表現する
音量を表現する及び違和感

違和感

アクティベーション共有型 NMF
飛び出す映像

飛び出さない音像

本研究の最終目的
本研究の最終目的

立体映像に適した音像を呈示できる立体音響システムの構築
立体映像に適した音像を呈示できる立体音響システムの構築

単一映像のみ移動

混合音全体が移動

L-ch
スパース表現による次元スパース表現による次元圧縮表現による次元圧縮

NMF
チャネル間でアクティベーションを共有する
共有する

信号の方位情報
信号の方位情報を保ちつつの方位情報を保ちつつ目的音の特徴量抽出を行う

2. 波面合成法

デジタル信号処理過程で生じるデジタル信号処理過程で生じる歪みや背景雑音の影響を取り除き目的音の DOA 分布を取得できる一次音源により生じる一次音場を複数のスピーカアレイを用い再現する技術
一次音源により生じる一次音場を複数のスピーカアレイを用い再現する技術
スピーカアレイよりも前方に音像を配置する
物理的な波面を合成する)
スピーカアレイよりも前方に音像を配置する (物理的な波面を合成する
物理的な波面を合成する ことも可能

R-ch
NMF

合成音場

元の音場

コスト関数
波面合成法
による再現

二次音源
（スピーカ）

一次音源(元音源元音源)
元音源

6. 提案手法における信号のフロー

S P (ω ) Primary source ( x P , y P )( x Sn , 0 )rPn

S Sn (ω ) n th secondary source

x： 一次音源と参照
受聴線のy 座標の比,R〇 立体映像に一致する奥行感のある音像を呈示することが可能となる立体映像に一致する奥行感のある音像を呈示することが可能となる
× 音像の位置をユーザ側から指定する必要がある → 元音源の位置は分からない
元音源の位置は分からない
波面合成法で必要となる混合音源中の音像深度奥行)
波面合成法で必要となる混合音源中の音像深度 (奥行奥行 を推定する

本発表の目的

各時間周波数グリッドにおいて知覚される方位は１つの方向のみ（第一波面の法則）
各時間周波数グリッドにおいて知覚される方位は１つの方向のみ（第一波面の法則）
ある方向に知覚される音の塊をオーディオオブジェクトと呼び，分離結果はこれに相当する
ある方向に知覚される音の塊をオーディオオブジェクトと呼び，分離結果はこれに相当する
チャネル間のチャネル間の音圧比を音源の方位情報としクラスタリングに音圧比を音源の方位情報としクラスタリングによって方位毎の音源へ分離する
よって方位毎の音源へ分離する

L-ch 空間情報

R-ch 空間情報

L-ch input signal

L-ch input signal：オブジェクト番号空間情報

L-ch input signal

モノラル
合成信号

：Source component

歪み，干渉成分

Cluster C

Cluster L

Cluster R

K-means クラスタ
リングにリングによる音源の方位分解
音源の方位分解
DOA

Depth
estimation

Depth
estimation

Depth
estimation

各クラスタの各クラスタの DOA 分布形状を β で評価することにより音像深度を推定する
評価することにより音像深度を推定する
β の値が大きければ音源が遠い

NMF 処理による目的音源の特徴量抽出
DOA

実験結果
6：Centroid vector

提案手法 音の到来方向 (direction of arrival: DOA) 分布に基づく深度推定

Conventional method 1
Conventional method 2NMF 処理無し
従来の NMF

Proposed method

アクティベーション
共有型 NMF

Test source 1, 2, 3
NMF beta
Reverberation time

目的音の DOA 分布形状を評価する
ことにより音像の深度推定を試みる
評価値

Frequency

DOA

実験条件

4. 提案手法の概要
音源の DOA でヒストグラムを作成すると音源の距離によって形状が変化する

重み付き DOA
ヒストグラムの作成

7. 実験条件および結果

R-ch input signal
R-ch input signal
R-ch input signal
Clustering
Normalization

Binaural–recorded
mixed source

Right

Left

Weighted DOA histogram

Activation- Activation- Activationshared NMF shared NMF shared NMF

3. k-meansクラスタリングに基づく方位分解

分離信号CenterInput stereo signal
L-ch
R-chSTFT∆x(0, y )y Reference listening line

Frequency

0Frequency

θ Pn

Frequency(0, y P )5

Shape parameter

駆動関数

4ImageImagemethod
methodconventional
Conventionalmethod
method11
conventional
Conventionalmethod
method22
Proposed method
methodproposed

321

ばらつき

一般化正規分布: Target source

Generalized Gaussian
distribution: GGD

Frequency

DOAatintervals: Interference source

形状パラメータ β
値で形状が変化

000.5

11.5

22.5

33.5

4

Distance between source and listener (m)

ばらつき

一般化正規
一般化正規分布の形状パラメータ正規分布の形状パラメータ β の算出により形状評価 = 深度推定を行う
DOA

NMF 処理により処理により特徴量抽出が可能となり，により特徴量抽出が可能となり，リファレンス特徴量抽出が可能となり，リファレンスの値に近付いている．
リファレンスの値に近付いている．
提案法の NMF のみ，音源の距離に応じて評価値が上昇して推移している．
混合音源中の音像深度推定に対する提案法の有効性が示された．

R-ch input signal

Stereo signal
K-means clustering

×目的音の DOAが埋もれてしまうが埋もれてしまう

信号処理で生じる信号処理で生じる人工的な歪み

8. まとめと今後の方針
まとめ
音像深度”
波面合成法の再現には ”音像深度
音像深度 が必要だが，混合音源では情報が失われている．
音像深度の推定を目的として，DOA分布に基づく音像深度音像深度の推定を目的として，分布に基づく音像深度推定深度推定を提案した．
推定を提案した．
信号処理問題の改良手法として信号処理問題の改良手法としてアクティベーション共有型処理問題の改良手法としてアクティベーション共有型 NMF を提案し適用した．
実験から，音像深度推定に対する提案手法の有効性が示唆された．

Frequency

L-ch input signal

実際の信号処理における問題点

Direction of arrival
Weighted DOA histogram

今後の方針
他条件で他条件での追加実験の実施．実音源との比較