月4 2013 冬学期 [4830-1032]

第5回

音声音響信号処理（時間周波数解析）

亀岡弘和
東京大学大学院情報理工学系研究科
日本電信電話株式会社
NTTコミュニケーション科学基礎研究所

講義内容（キーワード）
信号処理、符号化、標準化の実用システム例の紹介
情報通信の基本（誤り検出、訂正符号、変調、IP）
符号化技術の基本（量子化、予測、変換、圧縮）
音声分析・合成・認識・強調、音楽信号処理
統計的信号処理の基礎（スペクトル、ガウス過程、最尤推定）
ガウス性確率変数の基本性質
時間周波数分析（短時間フーリエ変換、ウェーブレット変換）
ウィナーフィルタとカルマンフィルタ
音声生成過程のモデル（ソースフィルタ理論と藤崎モデル）
自己回帰モデルと線形予測分析
独立成分分析によるブラインド音源分離
非負値行列因子分解によるスペクトログラムの分解表現
スペクトル間擬距離最適化アルゴリズム（EMアルゴリズム、補助関数法）

講義スケジュール
10/ 7
守谷先生担当10/15 (火) 守谷先生担当
10/21
守谷先生担当10/28
休講
11/ 5 (火) 線形予測分析と自己回帰モデル
11/11
時間周波数解析11/18
11/25
12/ 2
12/ 9
12/16
12/23
1/13
1/20
1/27

成績評価
レポート課題
本講義に関連する論文を１つ選び、発表資料形式（パワーポイント等）にまとめて学期末に提出してください。提出先は最終講義にてお知らせします。
 「どの程度本質を理解しているか」「要点が分かりやすく記述されているか」「なぜその論文を重要と考えたか」を評価の規準にして採点します。
 毎回の講義後にその回の講義に関連する論文を１つ挙げる予定です。それらの中から選んでも良いですし、自分で自由に探してきてもOKです。
講義の感想 レポートとともに講義に対する感想文も一緒に提出して下さい。
※講義資料は講義用ホームページにアップしていく予定。
講義URL
http://hil.t.u-tokyo.ac.jp/~kameoka/SAP/

本日の話題時間周波数解析
信号を構成する周波数成分がどのように時間変化していくかを捉えるための処理
 近年の音声音響信号処理の研究では不可欠な要素技術（音声認識・音源分離・雑音除去・自動採譜などの前段処理としてほぼ例外なく用いられる） 人間の聴覚システムでも時間周波数解析が行われていると考えられている
代表的な解析手法
短時間Fourier変換 (ShortTimeFourierTransform) ウェーブレット変換（定Qフィルタバンク）
時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
時間周波数解析の動機
Fourier変換：周波数ωの複素正弦波との内積：信号に周波数 の成分がどれだけ含まれるか→信号がどういう周期の成分から成っているかを見るのに便利音声などの実環境音響信号は一般に非定常

周波数成分は時々刻々と変化
 各時刻周辺での周波数成分を調べたい時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
短時間Fourier変換（ShortTimeFourierTransform）
文字通り，信号を短時間ごとに窓掛けして，Fourier変換する処理
窓関数

式で書くと・・・

フレームシフト番目の窓で切り出された波形

スペクトログラム（信号の時間周波数表現）
をカラーマップ表示してみる

フィルタバンクとしての見方 (1/2)
時刻 を中心とした窓で切り出された波形

時刻 に局在する周波数 の局在波とのFourier変換

一般化Parsevalの定理：
時間領域の内積は周波数領域の内積と等しいのFourier変換

フィルタバンクとしての見方 (2/2)

Fourier変換の逆Fourier変換

は中心周波数がωのバンドパスフィルタを通過したサブバンド信号と見なせる

時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
聴覚フィルタバンク
 人間の聴覚システムでは蝸牛と呼ばれる器官で時間周波数解析に相当する処理が行われていると考えられている


蝸牛管の内部は，リンパ液で満たされている鼓膜，耳小骨を経た振動はリンパを介して蝸牛管内にある基底膜に伝わり，最終的に蝸牛神経を通じて中枢神経に情報が送られる

基底膜は奥にいくほど幅広くかつ柔軟になっており，基部より頂部の方が 曲がりやすく，基部から頂部に至るほどより低い音に対応する固有振動数を持つ
 波が基底膜のどの位置まで到達するかで周波数成分が分かる
蝸牛モデル [von Békésy1960]
基底膜の各位置における周波数応答は右図のとおり
 Q値がほぼ等しい[Irino1993]より抜粋

聴覚フィルタバンク（ムービー）時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
ウェーブレット変換（定Qフィルタバンク）
動機：人間の蝸牛と似た性質をもつ時間周波数解析の方法は？
先に見たとおり，STFTは「定バンド幅フィルタバンク」に相当
 等しいQ値のサブバンドフィルタからなるフィルタバンクが考えられないか？
→ ウェーブレット変換（定Qフィルタバンク）

ウェーブレット変換（定Qフィルタバンク）
定義：信号と「ウェーブレット」（小さい波）との内積基底関数
アナライジングウェーブレット（中心周波数が１の波）
はアナライジングウェーブレットを時間方向に倍縮めて， だけシフトしたもの（時刻 に局在する周期 の小さい波）はに含まれる，時刻 周辺における周期 の成分に相当

Fourier変換

STFTとの違い
周波数ごとの基底関数
周波数低高STFTの比較
ウェーブレット変換

フィルタバンクとしての見方（本当に「定Q」なのか？）のFourier変換

一般化Parsevalの定理：
時間領域の内積は周波数領域の内積と等しい
より

Fourier変換の逆Fourier変換のFourier変換

STFTとウェーブレット変換によるスペクトログラムの比較

STFTスペクトログラム

ウェーブレット変換スペクトログラム

時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
スペクトル漏れ たとえ信号が無限長の正弦波であっても，STFTやウェーブレット
周波数変換のスペクトログラムは周波数方向にエネルギーが拡散される
周波数方向に滲む時間

 このスペクトルの広がりがGauss分布の形になる分析条件は？
音源分離や多重ピッチ推定のための効果的な手法として，スペクトログラムをGauss分布を用いてモデル化するアプローチが提案されている [Kameoka2007]
 スペクトルの広がりがGauss分布の形になる分析条件を明らかにすれば，上述のモデルで置いた仮定と理想的に一致したスペクトログラムを得ることができる
 STFTの場合は明らか → 窓関数をGauss窓にする（Gabor変換）
ウェーブレット変換の場合は？

ウェーブレット変換スペクトルがGauss分布形になる条件
として，そのウェーブレット変換スペクトログラムが対数周波数 方向にGauss分布の形になるようにするためには，アナライジングウェーブレットをどのような[Kameoka2007]関数にしたら良いか？

「定Q 対数正規分布型フィルタバンク」 [Kameoka2007]

アナライジングウェーブレットの周波数応答が対数分布形
1.0

0.5

00

1248

時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
時間周波数解析
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
スペクトル漏れスペクトログラムから信号への逆変換
スペクトログラムから信号への逆変換
信号→スペクトログラム
時間周波数解析 短時間Fourier変換
 ウェーブレット変換
 信号の特徴が視覚化できて便利 位相を捨てるので不可逆変換

可能？

スペクトログラム→信号
信号の加工をスペクトログラムの加工を通して行えて便利 「信号→スペクトログラム」は不可逆変換と言ったばかり！
 これを行うための逆変換反復STFT [Griffin1984]
スペクトログラム（各時間周波数のパワー）のみが既知(Step0) 各時間周波数における位相を適当に設定
 仮の複素スペクトル時系列の獲得(Step1) 逆STFT
 信号への変換(Step2) STFT
 複素スペクトル時系列の獲得(Step3) パワーの置換 位相はそのまま、パワーだけ既知のものに置き換え

時間周波数分解の一般表現
離散時間信号時間周波数解析


ある時刻の周波数成分は，ある特定の基底関数との内積によって計測できる
1フレーム目の時刻を中心に局在する，周波数ごとの「ウェーブレット」基底

1フレーム目
2フレーム目

フレーム数×周波数bin数
は縦長行列

スペクトログラムから信号を復元する問題
時間周波数平面上の各点における振幅が既知

となる→解が存在するとは限らない
ただし，を見つけたい問題の定式化とその解法
となる(Step0)(Step1)を見つけたいを初期設定（逆STFT，逆ウェーブレット変換）(Step2)（STFT，ウェーブレット変換）(Step3)（パワーの置換）

Step1へ反復STFTの図解
実信号がとりうるの集合

信号空間

Step1を満たす の集合

Step2

Step3
スペクトログラム空間

実信号がとりうるの集合

時間周波数表現空間

Step0

レポート課題の対象論文
 D.W. Griffin and J.S. Lim, “Signal estimation from modified shorttime Fourier transform,” IEEE Transactions on Acoustics, Speechand Signal Processing, Vol. ASSP-32, No. 2, pp. 236-243, 1984.
 T. Irino and R.D. Patterson, “A time-domain, level-dependent
auditory filter: The gammachirp”, The Journal of the Acoustic
Society of America, Vol. 101, pp. 412–419, 1997.