音学シンポジウム 2013年5月12日

音声生成過程と信号観測過程のモデルに基づくマルチチャンネル音声強調
中谷智広
NTTコミュニケーション科学基礎研究所
Contributed by NTT CS研 信号処理研究グループのメンバ
伊藤信貴，吉岡拓也，木下慶介，荒木章子，藤本雅清，エスピ ミケル，デルクロア マーク，久保陽太郎，小川厚徳，堀貴明，中村篤目次
 研究のモチベーション- 実世界で目的音声を聞き分け理解する技術：音声強調+音声認識

 目的音声を聞き分ける技術（=音声強調）- 『生成モデル』の考え方に基づく音声強調- 代表的な音声強調手法

 音声強調＋音声認識の応用例- 生活雑音環境下における遠隔発話音声認識- 複数人会話の音声認識

2

音声インタフェース ―現状と未来―
 現状

例：ボイスサーチ，
しゃべってコンシェル

マイクの近くで話す
雑音が少ない3

 未来

どんな場所でも、話している内容を理解できるマイクから離れてもOK
目的音声以外に音があってもOK

研究のモチベーション
様々な音が聞こえる実世界で，人の声を聞き分け・理解するコンピュータの実現 人どうしなら不自由なく会話できる環境での音声の認識（利用環境を選ばない技術）
 音声を聞き分ける能力（音声強調）＋ロバスト音声認識／話し言葉認識
4

音声を聞き分け理解する技術の応用先会議録の自動作成

家電・住宅機器の操作

字幕の自動付与
つまり音声認識とは…

インタラクティブ・エージェント

共生型ロボット

音声(言語)は人間にとって最も基本的な情報伝達手段
5

本日のトーク：二つの研究シナリオ
 生活雑音環境下での遠隔コマンド音声認識- 人がコンピュータに話す音声の認識- 応用例：カーナビ，家電・ゲーム機の操作…
観測信号

音声強調結果人間に比肩する音声認識性能

 複数人会話の音声認識- 人と人の会話，誰がいつ何を話したのかを認識- 応用例：議事録・要約，オンライン会話支援…
6

複数人会話の音声認識(複数人・遠隔・自由会話音声認識)
自由な話し言葉

あーあ、
なるほどー
つまり、
それは…

同時発話

えー、
でもー

観測信号

はい

残響

音声強調
結果

雑音

テーブルマイクを用いてヘッドセット並の音声認識性能
7

目次
 研究のモチベーション- 実世界で目的音声を聞き分け理解する技術：音声強調+音声認識

 目的音声を聞き分ける技術（=音声強調）- 『生成モデル』の考え方に基づく音声強調- 代表的な音声強調手法

 音声強調＋音声認識の応用例- 生活雑音環境下における遠隔発話音声認識- 複数人会話の音声認識

8

生成モデルの考え方に基づく音声強調＋音声認識

大きく変動する雑音

認識
結果

目的音声の推定値

雑音＋音声
音声強調

音声認識

音響信号分析

入力に応じて各モデルの状態を推定

入力に応じて音声や雑音の状態を推定

ミス
マッチ
最小音響モデル

単語発音モデルThe quickbrown fox

言語モデル

音声の生成モデル
観測信号が取り得る状態をモデル化

9

音声生成 雑音生成 信号観測モデル
モデル
モデル

観測信号の生成モデル

ロバスト化技術
・マルチコンディション学習
・モデル適応・識別学習／ディープNN…

音声信号が取り得る状態をモデル化

生成モデルの考え方に基づく音声強調＋音声認識
雑音＋ 本日の主題
音声

大きく変動する雑音

認識
結果

目的音声の推定値

音声強調

音声認識音響信号分析

入力に応じて各モデルの状態を推定

入力に応じて音声や雑音の状態を推定

ミスマッチ
最小

音響モデル

単語発音モデルThe quickbrown fox

言語モデル

音声の生成モデル
観測信号が取り得る状態をモデル化

10

音声生成 雑音生成 信号観測モデル
モデル
モデル

観測信号の生成モデル

ロバスト化技術
・マルチコンディション学習
・モデル適応・識別学習／ディープNN…

音声信号が取り得る状態をモデル化

生成モデルで表現する音声・雑音の状態の例
聞こえる方向スペクトルパタン

時間変化パタン（空間情報）（空間情報）（周波数情報）（周波数情報）（時間情報）（時間情報）
音の強さ

い

音の強さ
あ

周波数方向
周波数

特定の方向から聞こえる音素（「あ」「い」など）ごとに、特有のスペクトルパタン

時間特有の時間変化パタンを持つ

その他：音声区間 [藤本, 2008]，調波構造 [亀岡, 2007], F0パタン [亀岡, 2010]，
発話内容 [Rennie, 2010] など
11生成モデルに基づく音響信号分析の考え方 (1/2)
分析すべき音シーン : 単一音源（雑音なし）の場合生成（順問題） 観測信号の特徴量時系列
音声生成
x = {xt }モデル

p (s | θ )p (x | θ ) = p (s = x | θ )逆問題θ ：音声の状態（音源方向，スペクトルパタンなど）を表すパラメータp (s | θ ) ：音声特徴量に関する確率密度関数12

最尤推定*1θˆ =arg max p (x | θ )θ

*1: 他にも，ベイズ推定，MAP 推定など

生成モデルに基づく音響信号分析の考え方 (1/2)
分析すべき音シーン : 単一音源（雑音なし）の場合生成（順問題） 観測信号の特徴量時系列
音声生成
x = {xt }モデル

p (s | θ )p (x | θ ) = p (s = x | θ )逆問題θ ：音声の状態（音源方向，最尤推定*1arg max p (x | θ )代表的な応用事例：
スペクトルパタンなど）
θ
線形予測に基づく最尤スペクトル推定 [板倉 1968]を表すパラメータ
隠れマルコフモデルによる音声モデル [Juang1985他]*1:
他にも，ベイズ推定，p (s | θ ) ：音声特徴量に他多数
MAP 推定など
関する確率密度関数
13θˆ =生成モデルに基づく音響信号分析の考え方 (2/2)
分析すべき音シーン : 複数音源の場合
音声生成モデルp (s | θ(s )p (n | θ

信号観測モデルsp ( x | s, n , θ)

雑音生成モデル(n )観測信号の特徴量時系列))nθˆ = arg max p (x | θ )θ14( x)x = {xt }p(x | θ )( x)
= ∫∫ p (x | s, n, θ )(s)× p (s | θ )ds× p (n | θ ( n ) )dn

生成モデルに基づく音響信号分析の考え方 (2/2)
分析すべき音シーン : 複数音源の場合
音声生成モデルp (s | θ (s ) )雑音生成モデルp (n | θ(n ))観測信号の特徴量時系列

x = {x }信号観測モデル
推定された状態 θˆ に基づき，t最小平均自乗誤差推定などに( x)p(x | θ )p (x | s,より音声強調を実現
n, θ )

s= ∫∫ p (x | s, n, θ )(s)sˆ = s p (s | x, θ×)dps(s | θ )ds
× p (n | θ ( n ) )dn∫nθˆ = arg max p (x | θ )θ15( x)生成モデルによる音響信号分析：特徴・課題
 音源の状態から観測信号を予測する観測信号生成モデルの構築は，比較的容易（順問題）- 様々な手がかりを導入できる 音響信号分析は，観測信号生成モデルのパラメータ推定問題として定式化できる（逆問題）- ただし，多くの場合，非線形最適化問題となり，効率的に解けるとは限らない
16

生成モデルに基づく代表的な音声強調の手法
手が 音源の方向
かり代表 ・独立成分分析（ICA)
的な手法 ・音源方向
クラスタリング
特長 生成モデルの事前学習が不用→ブラインド処理が可能

17

スペクトルパタン
・非負値行列分解(NMF)
・Factorial モデル

時間変化パタン・隠れマルコフモデル (HMM)
ベース
・事例ベース
生成モデルの事前学習が必要→音声・雑音のパタンの分布をあらかじめ制限できる音源方向クラスタリングに基づく音声強調 [Yilmaz, 2004]

p (s | θ (s ) )

レベル差

逆問題

雑音源

目的話者

目的話者

p (n | θ (n ) )観測特徴量の分布

時間差

生成雑音源

事前に音源方向等が不明でも，観測信号のみから生成モデルを推定できる（ブラインド推定可能）18

音源方向クラスタリングに基づく音声強調 [Yilmaz, 2004]

p (s | θ (s ) )

レベル差

逆問題

雑音源

目的話者

目的話者

p (n | θ (n ) )観測特徴量の分布

時間差

生成

雑音源

音源分離技術評価キャンペーンSiSEC 等において，事前に音源方向等が不明でも，観測信号のみから世界トップレベルの性能（信号対歪み比SDR 等）生成モデルを推定できる（ブラインド推定可能）を達成 ( [澤田 2012] 他)
19Factorial モデルに基づく音声強調 [Roweis 2003]
対数メルスペクトル
混合ガウス分布 GMM（事前学習済み）i

生成(1) -th

観測信号：
対数メルスペクトル

対数メルスペクトル
Log
power

生成

s (1)

Log
powerxガウス分布
音声生成モデルi ( 2)-thf：freq.

f生成

Log
power{x f = max s (f1) , s (f2 )s ( 2)生成ガウス分布}

LogMax モデル

f雑音生成モデル

音響信号分析（逆問題） i = arg max p ( x, i )i

観測信号を生成する確率値の高いガウス分布の組 i = {i(1), i(2)} を推定
EMアルゴリズムにより効率的な推定が可能
20

Factorial モデルに基づく音声強調 [Roweis 2003]
対数メルスペクトル
混合ガウス分布 GMM（事前学習済み）i

生成(1) -th

観測信号：
対数メルスペクトル

対数メルスペクトル
Log
power

生成s (1)Log
powerxガウス分布
音声生成モデル

f：freq.

f{x f = max s (f1) , s (f2 )Logpower}s ( 2)
生成i ( 2)-th生成
LogMax モデル
ガウス分布
モノラル混合音声の分離・音声認識評価キャンペーン
f雑音生成モデル[Cooke 2010]においてトップスコアを達成 [Rennie 2010]

音響信号分析（逆問題） i = arg max p ( x, i )i

観測信号を生成する確率値の高いガウス分布の組 i = {i(1), i(2)} を推定
EMアルゴリズムにより効率的な推定が可能
21

事例ベース音声強調 [Ming, 2011, Kinoshita, 2011]30～200ms

観測信号
事例ベース
生成モデル

生成

事例を用いて30～200ms程度の時間変化パタンをモデル化

逆問題 ：最長・最類似事例探索

大量の音声＋雑音の事例

･･･

･･･

クリーン
音声の事例

･･･

･･･

クリーン事例に基づきウィナフィルタを設計し音声強調を実現
22

生成モデルに基づく音声強調法のまとめ
 音源の方向，スペクトルパタン，時間変化パタンなどに基づき，様々な効果的な方法が提案されている
音源方向クラスタリング

Factorial モデル／事例ベース

長 ・ブラインド処理が可能
所→ボトムアップ的処理に有利・スペクトルパタン，時間変化パタンの分布をあらかじめ規定できる→音声認識との相性○

短 ・同じ方向の音を区別できない
所 ・音声認識との相性？

・雑音と音声のパタンが近いと区別が困難
・事前学習→収録環境への依存性大各生成モデルの長所を活かすことで，より信頼性の高い音声強調が実現できる期待23

目次
 研究のモチベーション- 実世界で目的音声を聞き分け理解する技術：音声強調+音声認識

 目的音声を聞き分ける技術（=音声強調）- 『生成モデル』の考え方に基づく音声強調- 代表的な音声強調手法

 音声強調＋音声認識の応用例- 生活雑音環境下における遠隔発話音声認識- 複数人会話の音声認識

24生活雑音環境下での遠隔発話音声認識 CHiME タスク
 コマンド文※の音声認識
話者

マイク：2個2m- 生活環境で録音された雑音を含む- 特定話者音声認識- オフライン処理

 マルチマイク（2マイク）録音
雑音源
リビングルーム- 話者位置は固定- 事前学習データ有（音声・雑音）※ コマンド文の例（赤字で示した部分のみの認識率を評価）<コマンド 4通り><色 4通り><前置詞 4通り><アルファベット 25通り><数字 10通り><副詞 4通り>

・・・

例： “Bin red by F 8 please”“Lay green with G 4 again”
25

クリーン

観測信号（含雑音）NTT開発方式の構成
音声認識

音声強調

システムコンビ
ネーション

音源方向クラスタリング＋Factorial モデル（DOLPHIN*１）

事例ベース
音声強調

[中谷 2012][木下 2011]

モデル適応／
不確定性
デコーディング

時間変化
パタンモデル

音響モデル
識別学習
マルチ条件学習

音源方向モデルスペクトル
パタンモデル

単語列

言語モデル*1) DOminance based Locational and Power-spectral cHaracteristics INtegration
26

キーワード認識正解率（マルチコンディション学習）
0dB: 雑音の大きさ＝音声の大きさ

人間に比肩する性能を達成（現時点で世界トップ性能）
27

複数人会話の音声認識(複数人・遠隔・自由会話音声認識)
あーあ、
なるほどー

自由な話し言葉
つまり、それは…

残響

同時発話

えー、
でもー
はい雑音 会話音声認識- 比較的フォーマルな自由会話
例：「仕事でのストレスについて」- オフィスルーム／防音室- 不特定話者音声認識- オフライン処理

 マルチマイク（8マイク）録音- 話者数は4（固定）- テーブル周囲に着席（方向は不明）

28

NTT開発方式の構成

音声強調

8ch
観測信号

①音源方向
クラスタリングに基づくMVDR[Souden 2012]

音声認識システム
コンビネーション

モデル適応②①＋DOLPHIN③残響除去 [吉岡,2012]＋ICA+DOLPHIN

29

音響・言語一体モデル（WFST+識別学習)

Aさん: いいのかなー
Bさん: うーん
Cさん:…

音声認識性能80

ヘッドセットマイクを利用した従来手法の精度

文字正解精度

70
60
5040
30

[%]

20100

ベースライン＋音声強調＋ロバスト音声認識

ヘッドセットマイクを利用した従来手法を凌ぐ認識精度30まとめ 生成モデルに基づき，観測信号中の各構成音の状態を推定し，目的音声を強調するアプローチを紹介
 音源方向・スペクトルパタン・時間変化パタンに基づく音声強調＋最先端音声認識技術により，実世界音声認識に応用
 今後の課題- 大量の収録データからの教師なし学習- モデル構造（音源数・音源の種類など）の自動獲得

31