東京大学工学部 4年生 夏学期 [03-501130]

応用音響学
第2回 (4/15)

亀岡弘和
東京大学大学院情報理工学系研究科
システム情報学専攻
kameoka@hil.t.u-tokyo.ac.jp

講義スケジュール
前半（亀岡担当）
 4/08: 第1回
 4/15: 第2回
 4/22: 第3回
 4/29: 休日
 5/01(木): 第4回
 5/06: 休日
 5/13: 第5回
 5/20: 第6回
 5/27: 第7回後半（牧野担当）
 6/03: 第8回
 6/10: 第9回
 6/17: 第10回
 6/24: 第11回
 7/01: 第12回
 7/08: 第13回
 7/15: 第14回

 7/22: 学期末試験

音響学の研究分野とトピック日本音響学会における研究分野
音声
A: 音声認識，対話システム– B: 音声分析，合成，符号化–電気（応用）音響–



音楽音響–



マイクロホンアレイ，スピーカ
音声強調，音源分離

楽器音響，音楽情報処理

聴覚–

聴覚心理，聴覚情報処理超音波
 騒音・振動 建築音響

線形予測分析

隠れマルコフモデル

混合正規分布モデル

カルマンフィルタ

独立成分分析

ウィーナーフィルタ

カルマンフィルタ

非負値行列因子分解

非負値行列因子分解
隠れマルコフモデル↑各分野の基礎トピック

本日の話題サンプリング（標本化）の復習
時間周波数解析（短時間スペクトル分析）
信号を構成する周波数成分がどのように時間変化していくかを捉えるための処理
 近年の音声音響信号処理の研究では不可欠な要素技術（音声認識・音源分離・雑音除去・自動採譜などの前段処理としてほぼ例外なく用いられる） 人間の聴覚システムでも時間周波数解析が行われていると考えられている
代表的な解析手法
短時間Fourier変換 (ShortTimeFourierTransform) ウェーブレット変換（定Qフィルタバンク）
音声波形
「打ち消す」の音声波形「ち」は無声化して母音の/i/が脱落
 有声音（ここでは/u/, /e/, /u/）の波形は局所的に周期的→これがピッチ（声の高さ）として感じられる音声のディジタル化のプロセス
音の電気変換（マイクロフォン） (transducer)増幅 (amplification)
A/D変換 (A-to-D conversion)
フィルタリング (filtering) サンプリング (sampling) 量子化 (quantization)
ディジタル値の取り込み
信号のサンプリング（標本化）と復元
連続時間信号01020304050

1020304050

1020304050

サンプリング（標本化）

0

信号復元

0

標本値系列からの信号復元
正確に復元できる（原情報を保存できる）条件は？
標本値系列の多義性

直感的には

正弦波1周期あたり標本点が2点必要

標本化定理
帯域制限信号に対し、カットオフ周波数の2倍以上で標本化すれば、標本値系列から元の信号が完全に復元される。

サンプリング定理（標本化定理）
信号波形（時間領域）

スペクトル（周波数領域）

元の信号とスペクトル（帯域が制限されている）

標本化＝元の信号にデルタ関数列を乗じること

標本値パルス列のスペクトル＝原スペクトルとデルタ関数列の畳み込み

スペクトルに矩形関数を乗じたもの＝原スペクトルと同じスペクトル
これは標本値パルス列とsinc関数の畳み込みに相当時間周波数解析（短時間スペクトル分析）
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方

時間周波数解析（短時間スペクトル分析）
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方

時間周波数解析の動機
Fourier変換：

周波数ωの複素正弦波との内積：信号に周波数 の成分がどれだけ含まれるか→信号がどういう周期の成分から成っているかを見るのに便利音声などの音響信号は非定常（非定常だから情報が運べる）


周波数成分は時々刻々と変化
 各時刻周辺での周波数成分を調べたい時間周波数解析（短時間スペクトル分析）
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方

時間周波数解析（短時間スペクトル分析）
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方
短時間Fourier変換（ShortTimeFourierTransform）
文字通り，信号を短時間ごとに窓掛けして，Fourier変換する処理
窓関数

式で書くと・・・

フレームシフト番目の窓で切り出された波形

スペクトログラム（信号の時間周波数表現）
をカラーマップ表示してみる

フィルタバンクとしての見方 (1/2)
時刻 を中心とした窓で切り出された波形

時刻 に局在する周波数 の局在波とのFourier変換

一般化Parsevalの定理：
時間領域の内積は周波数領域の内積と等しいのFourier変換

フィルタバンクとしての見方 (2/2)

Fourier変換の逆Fourier変換

は中心周波数がωのバンドパスフィルタを通過したサブバンド信号と見なせる

様々な窓関数 窓関数の重要な特性
メインローブの幅（周波数分解能）：狭いほどよい サイドローブの大きさ（ダイナミックレンジ）：小さいほどよい 代表的な窓関数
矩形窓
 三角窓（Bartlett窓）
 Hanning窓 Hamming窓
 Blackmann窓

メインローブサイドローブ

矩形窓

 方形窓、Dirichlet窓とも呼ばれる
 メインローブの幅は窓関数中最も狭い
 サイドローブの最大値は13dBと大きい

-13dB

三角窓

 Bartlett窓とも呼ばれる
 矩形窓の自己相関で表される
 サイドローブの最大値：
-27dB

-27dB

Hanning窓 J. von. Hanにより提案
 サイドローブの最大値：-32dB
 メインローブの幅は三角窓より大きい-32dB

Hamming窓 R. W. Hammingにより提案
 両端で０にならない窓関数
 サイドローブの最大値：-42dB

 ただしサイドローブの減衰はHanning窓に比べ緩やか-42dB

Blackman窓 R. Blackmanにより提案
 サイドローブの最大値：-58dB
 ただしメインローブの幅は比較的大きい-58dB

窓関数同士の比較

時間周波数解析（短時間スペクトル分析）
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方

時間周波数解析（短時間スペクトル分析）
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方聴覚フィルタバンク
 人間の聴覚システムでは蝸牛と呼ばれる器官で時間周波数解析に相当する処理が行われていると考えられている


蝸牛管の内部は，リンパ液で満たされている
鼓膜，耳小骨を経た振動はリンパを介して蝸牛管内にある基底膜に伝わり，最終的に蝸牛神経を通じて中枢神経に情報が送られる

基底膜は奥にいくほど幅広くかつ柔軟になっており，基部より頂部の方が 曲がりやすく，基部から頂部に至るほどより低い音に対応する
固有振動数を持つ[Irino1993]より抜粋
 波が基底膜のどの位置まで到達するかで周波数成分が分かる
蝸牛モデル [von Békésy1960]
基底膜の各位置における周波数応答は右図のとおり
 Q値がほぼ等しい
聴覚伝達メカニズム（ムービー）時間周波数解析（短時間スペクトル分析）
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方

時間周波数解析（短時間スペクトル分析）
動機について短時間Fourier変換 (ShortTimeFourierTransform)
定義 スペクトログラムとは フィルタバンクとしての見方聴覚フィルタバンク
 聴覚システムにおける時間周波数解析
 蝸牛モデルウェーブレット変換（定Qフィルタバンク）
 定義
 フィルタバンクとしての見方ウェーブレット変換（定Qフィルタバンク）
動機：人間の蝸牛と似た性質をもつ時間周波数解析の方法は？
先に見たとおり，STFTは「定バンド幅フィルタバンク」に相当
 等しいQ値のサブバンドフィルタからなるフィルタバンクが考えられないか？
→ ウェーブレット変換（定Qフィルタバンク）

ウェーブレット変換（定Qフィルタバンク）
定義：信号と「ウェーブレット」（小さい波）との内積

基底関数
アナライジングウェーブレット（中心周波数が１の波）
はアナライジングウェーブレットを時間方向に倍引き伸ばして， だけシフトしたもの（時刻 に局在する周期 の小さい波）はに含まれる，時刻 周辺における周期 の成分に相当

Fourier変換

STFTとの違い
周波数ごとの基底関数
周波数低高STFTの比較
ウェーブレット変換

フィルタバンクとしての見方（本当に「定Q」？）のFourier変換

一般化Parsevalの定理：
時間領域の内積は周波数領域の内積と等しい
より

Fourier変換の逆Fourier変換のFourier変換

STFTとウェーブレット変換によるスペクトログラムの比較

STFTスペクトログラム

ウェーブレット変換スペクトログラム