システム情報 猿渡・小山研究室（創造情報 猿渡研究室）の紹介

東京大学大学院・情報理工学系研究科
システム情報学・創造情報学専攻 猿渡・小山研（2021年5月）

猿渡・小山研（システム情報第一研究室）
教授
猿渡洋

講師
小山翔一

助教
高道慎之介

特任助教
中村友彦

特任助教
齋藤佑樹

講師（協力）
郡山知樹

専門分野

専門分野

専門分野

専門分野

専門分野

専門分野

・教師無し最適化 ・音場再生・伝送 ・統計的音声合成 ・音楽情報処理

・統計的音声合成

・統計・機械学習

（音ホログラフ） ・声質変換

論的信号処理・スパース最適化 ・深層学習（DNN） ・DNN音源分離

・統計的音声合成

・多重解像度解析 ・音声知覚モデリング ・DNN
・人参加型機械学習

協力教員 北村大地先生
博士課程学生4名
特任研究員 高宗さん
修士課程学生10＋10名
秘書 丹治さん※郡山先生は郡山研として指導・深層ガウス過程

研究俯瞰図 音声・音響・音楽メディアに関する信号処理・情報処理
 ヒューマンインターフェイス・コミュニケーションシステムの構築
 統計的・機械学習論的信号処理、数理最適化問題等を研究

研究紹介１．ブラインド音源分離• 音の方向・声質・音量など、事前に何も分かっていなくても、瞬時に音を「聞き分ける」ことの出来るシステムを目指す。
• 独自に開発した高速独立成分分析（ICA）、独立低ランク行列分析（ILRMA）という教師無し数理最適化アルゴ
リズムに基づいて、音を統計的に独立な成分に分解することにより、別々の音声信号を見つける。
スモールデータ
教師無し最適化
低ランクモデルブラインド音源分離（BlindSourceSeparation）：聞き分けるAI
混ざり合った信号から元の信号を取り出す
どのように混ざったかに関する情報 は利用できない事前トレーニング出来ない⇒ビッグデータではなくスモールデータ

実は上記は２つのことを同時に推定している

 [空間] 統計的に独立な音源の分類問題（分離行列Wの推定）
 [音源] 各音源が属する確率分布p(y)や構造の推定問題
上記を閉形式で解く方法は存在せず凸問題でもない⇒大変困難！

ILRMA：音源の独立性と低ランク性に着目したBSS[IEEE Trans. ASLP 2016、IEEE SPS論文賞・ASJ粟屋賞・JSPS育志賞]• ILRMAのコスト（対数尤度）関数→これを最小化

音源の低ランク性コスト関数（音源NMFモデルの推定に寄与）

音源の独立性コスト関数（空間モデルWの推定に寄与）

p(y)= p(y1) p(y2) … p(ym)となるWを推定

両者を交互にMajorization-Minimizationアルゴリズムで反復最小化
 コスト値の単調減少性を保証（勾配法には無い特徴）
 高速かつ安定な求解法を実現（従来の多入力NMFと比較して２ケタ速い） 6

モデルの多様化・数理解法の開拓• 音源生成モデルの多様化

IEEE SPS Tokyo Joint Chapter学生賞!

– 複素波形重ね合わせと整合するα安定分布の導入⇒t-ILRMA [EURASIP-JASP2018]– 複素球状ポアソン分布の導入⇒β=1-divergence最小化ILRMA[IEICE Trans. 2018]• 座標降下法におけるバリエーション– パラメトリックMajorization-Equalizationアルゴリズムによる音源・空間最適化の「バランス」化[CAMSAP2017], [IEEE Trans. ASLP2019]• 深層学習（DNN）との融合– 独立深層学習行列分析（IDLMA）の提案[IEEE Trans. ASLP2019]7

高速ICA、独立低ランク行列分析によるデモ• リアルタイム音声聞き • ドラム、弦楽器、音声分け（警察備品に採用） からなる複合音の分離

SourceSource 2
1

Source32m

20
50

702.83cm

2.83cm内閣府ImPACT災害対応タフロボット [2016年6月プレスリリース]災害時の倒壊家屋に入り込んで被災者発見
環境音認識による状況把握・救助支援
被災者はいるのか？

人の声を発見！

いかなる曲がりくねった形状においてもマイク同士が協調して騒音の中から被災者の声を見つけ出す

研究紹介２．音楽信号解析• 様々な楽器がまじりあった音楽信号の中から、自分の好きな楽器を見つけ出し、自分の好みのリミックス版を製作する。
• 非負値行列因子分解（ＮＭＦ）や深層学習（DNN）という教師有りアルゴリズムを用い、音を事前に学習したパターンに基づいて分解することにより、信号を解析する。
スパース分解低ランクモデル
教師有り学習多重解像度深層分析（1/2）：動機[Nakamura+ IEEE Trans. ASLP2021]• Wave-U-Net [Stoller+2018]–時間信号を直接入力し分離音を得る
End-to-end DNNモデル–繰り返しダウン・アップサンプリングを行うU-Net構造をもつ

Source estimates

Conv1D

Mixture audio

ConcatConv1D

Conv1D

ConcatDecimation
layer• しかし，信号処理の観点から見ると DS block 1
ダウンサンプリングが問題…

US block 1

DS block 2

US block 2・・・

・・・

–特徴量ドメインでエリアシングが発生–ダウンサンプリングで情報が欠落しうる⇒ 分離性能の低下を招く

Linear USlayer

DS block 𝐿

US block 𝐿
Conv1D2021/5/1911

多重解像度深層分析（2/2）：解決方法[Nakamura+ IEEE Trans. ASLP2021]• Wave-U-Netと多重解像度解析の構造の類似性に着目⇒ 離散ウェーブレット変換（DWT）を導入し解決‼

Source estimates

Input signal

Reconstructed signal

Conv1D

Mixture audio

ConcatConv1D

Conv1D
Concat

↓2

↓2
DWT 1

DWT 2

Inverse DWT 1
Inverse DWT 2

DS block 1

US block 1

DS block 2

US block 2
・・・

Inverse DWT 𝐿

Inv. DWT layer

DWT layer

・・・

Subband signal（high frequency）

・・・

・・・
DWT 𝐿

↑2

↑2

DS block 𝐿

US block 𝐿
Conv1D2021/5/19

多重解像度分析

多重解像度深層分析（MRDLA）

12

多重解像度深層分析による楽音分離デモ• Vocal，bass，drums，guitarの音に分離
分離音

正解音

Vocal:

Bass:
Drums:
Guitar:2021/5/19

13

研究紹介３．音場再現• ステレオや5.1chサラウンドなどの従来の音の再生技術と異なり、広い領域で音の空間そのものを再現する。
• 音のホログラフを実装し、音バーチャルリアリティや音拡張現実感システムを実現する。
• 音場を「スパース（疎）」な性質に基づいて分解する。
球面調和解析
スパース最適化
音ＶＲ・ＡＲ

音場の計測と制御
計測

制御
スピーカ

マイクロフォン

 音場の可視化・再構成
 音源位置・室内音響パラメータ等の推定
 空間音響再生のための収音 高臨場感音響再生
 指向性制御・エリア再生
 空間能動騒音制御

音場の計測と制御に関わる信号処理・逆問題を基礎から応用まで扱う
May 19, 2021

15

音場の計測離散配置されたマイクの観測信号から，連続的な音場を再構成
音源を含まない領域の再構成– 無限次元調和解析に基づく再構成[Ueno+ IEEE SPL 2018]– 音場のスパース表現のための最適化法[Murata+ IEEE TSP 2018]

Target region

音源を含む領域の再構成– 音源のスパース性に基づく再構成法[Koyama+ IEEE JSTSP 2019]– Reciprocity Gap Functionalに基づく音場分解 [Takida+ Elsevier SP 2019]
Target region
May 19, 2021

16

音源を含まない音場の再構成
Target region: 音場は斉次Helmholtz方程式に従う
音圧分布

室境界における未知の境界条件

May 19, 2021

17

音源を含まない音場の再構成
Target region:

 再構成音場が波動方程式を満たすように推定したい
マイク位置での音圧

May 19, 2021

観測信号

斉次Helmholtz方程式
18

音場のカーネル補間法
 解空間とカーネル関数を構成 あらゆる方向から到来する平面波
解空間：

カーネル関数： カーネルリッジ回帰による再構成
グラム行列

カーネル関数のベクトル

観測信号ベクトル[Ueno+ IEEE SPL 2018, IWAENC 2018]
May 19, 2021

19

音場の制御複数のスピーカを用いて対象領域内に所望の音場を物理的に合成所望音場を合成するためのスピーカ駆動信号を求める逆問題– 波数領域信号変換による収音・再現 [Koyama+ IEEE TASLP 2013, etc.]– 音場のスパース表現による超解像化 [Koyama+ JASA 2018]– 重み付きモードマッチング法による音場合成 [Ueno+ IEEE/ACM TASLP 2019]– 音場制御におけるスピーカ・制御点配置の最適化 [Koyama+ IEEE/ACM TASLP2020]

May 19, 202123

重み付きモードマッチング法
 シミュレーション実験例
平面波音場を合成

外部への放射を抑制無音となるように制御[Ueno+ IEEE/ACM TASLP 2019]

音場再現だけでなく，マルチゾーン再現や外部放射抑圧などにも適用可能
May 19, 2021

24

仮想再現音場例１（音源がスピーカの手前）
物理的なスピーカ列はここ

ここから音が聞こえる（でも実際は何も無い！）

研究紹介４．統計的音声合成• テキストもしくは自分の声を入れるだけで、誰の声でも、どんな訛りでも、何語でも、喋ることが出来るような統計的音声合成システムを実現する。
• 深層学習（Deep Neural Net）の枠組みを活かし、「AIオレオレ詐欺師」と「AI防犯課刑事」を対決させて、お互いに精度を高めるAnti-Spoofing 敵対学習理論を独自に提唱
ビッグデータ
深層学習
敵対学習

Anti-Spoofingと敵対する音響モデル学習理論[ICASSP2017 SPL Student Grant賞・IEEE SPSJ 学生論文賞他]

人間の声に似せようと努力ウソ（合成音）に騙されまいと攻防27

リアルタイムDNN声質変換

2019年3月 日経xTECHプレスリリース28

とにかく音が好きな人は集まれ！
2014年以降の研究教育実績
・原著論文：Top論文誌IEEE, ASA, EURASIP, ISCA 26編, 他19編
・国際・国内会議発表：数えきれないので略・教員・指導学生が2014年以降に71件の学術賞を受賞
音の情報処理に興味がある人
統計的信号処理の数理に興味がある人
機械学習を使って生のデータを扱いたい人
一期一会なスモールデータの研究をしたい人
波動現象を数理的に考えたい人 etc.
そんなあなたにお勧めです。