熊本⼤学 訪問講演

⾳声にまつわる研究紹介
⾼道 慎之介 (慶應義塾⼤学∕東京⼤学)

⾃⼰紹介

名前
⾼道 慎之介 (たかみち しんのすけ)
現職
慶應義塾⼤学 准教授∕東京⼤学 特任准教授
専⾨@forthshinji

⾳声⼯学、機械学習、信号処理
2

⻑岡技⼤
電気電⼦情報東京⼤学〜講師
奈良先端⼤
情報科学〜中学校
熊本県 天草慶應義塾⼤学准教授

CMU (⽶国)
1年留学

熊本電波⾼専電⼦⼯学科

3

本講演のテーマ

⾳声にまつわる研究の話

4

⾳声情報処理の基礎知識

5

発声器官のモデル: ソース‧フィルタモデル
声道 (フィルタ)
⼝や喉を動かして⾳源信号を⾳⾊付け
⾳声波形
畳込み
⾳源 (ソース)
肺からの呼気を声帯の開閉で制御
6

⾳声のもつ情報とそれを扱う主な⾳声技術
物理

物理

情報
⾳声認識

Linguistic（⾔語情報）
⾔語で記述可能な情報

テキスト
⾳声合成

感情⾳声合成⾳声感情認識Para-linguisticなどなど（パラ⾔語情報）
⾔語で記述できず，話者が意図的に付与した情報（感情など）
話者制御
話者認識
Non-linguistic
⾳声合成などなど（⾮⾔語情報）⾔語で記述できず，話者の意図と無関係に付与される情報（話者性など）

7

声を変える、⼈を変える、⼈を守る

8

ハンターハンター ボイスチェンジャー

https://prtimes.jp/main/html/rd/p/000003399.000002581.html

9その最新版

10

Digital speech makeup：
⾳声の「鏡」を作る

11
⾃分で聞く⾃分の声が変わると，⾃⼰の認識が変わる．認識が変わると⾏動が変わる
Arakawa et al., “Digital Speech Makeup: Voice Conversion Based Altered Auditory Feedback for Transforming Self-Representation” ICMI 2021.

エモーションキャンセリング：
⾳声への「盾」を作る

話し⼿の⾳声と聞き⼿の知覚感情を明らかにし，聞き⼿の⼼的負担を軽減する 12spatial voice conversion:
空間上の狙った声だけ変える
Two persons are speaking to me(woman from left, man fromright.)

Spatial voiceconversion

Converts desired speaker’s voice(left in demo) without changing
other info.

Seki et al., “Spatial Voice Conversion: Voice Conversion Preserving Spatial Information and Non-target Signals,” Interspeech, 2024.

13

歌声表現を拡張する

14

時を超えて蘇る50年前の歌声 〜スモールデータを⽤いたタスク混合深層学習による歌唱再現〜“歌⼿の松任⾕由実⽒が50年前にデビューした当時の歌声を⼈⼯再現する技術” 15
https://www.i.u-tokyo.ac.jp/news/ﬁles/ist_pressrelease_20221003_takamichi_s.pdf

歌声合成16

他者と相互作⽤するAIシンガーを⽬指して17アカペラ合成
⼈間歌唱者同⼠は，楽譜レベル‧⾳声レベルの相互作⽤を起こす

AI歌唱者同⼠で，楽譜レベル‧⾳声レベルの相互作⽤を起こす

18

AIアバターの⾳声表現をデザインする

19

⾃然に間違う⾳声AI エージェント：「あー」「えー」のフィラーとその個⼈性
フィラー語の使⽤頻度

ざっくりいうと，(ｱﾉｰ)先ほど(ｱﾉｰ)少し(ｱﾉｰ)お話ししましたけども，戦後のそういうサブカルチャーの…

1

2

3

4
ざっくりいうと，先ほど少しお話ししましたけども，
20
戦後のそういうサブカルチャーの…

Y. Matsunaga et al., "Improving robustness of spontaneous speech synthesis with linguistic speech regularization and pseudo-ﬁlled-pause insertion," Proc. SSW, 2023.

Mid-attribute speaker generation：
バイナリの属性を超えた⾮実在話者”こんにちは”話者を選べる
AI⾳声合成実在する男性話者A⼀⼈の話者を選んでその話者の声を合成

実在する男性話者B

確率の補間

確率の補間

⾮実在話者を⽣成
確率的に⽣成男性話者の特徴の確率
男性にも⼥性にも聴こえる
⼥性話者の特徴の確率
特徴の確率
話者の特徴を表す数値（例えば，⾳⾼，声⾊を表す多次元の数値）
⽣成

Watanabe et al., "Mid-attribute Speaker Generation using Optimal-Transport-based Interpolation of Gaussian Mixture Models," Proc. ICASSP, 2023.

21

話者の声の⾼さ

CocoNut-Humoresque：「魅⼒的な声」データベースと嗜好分析

嫌い ←各個⼈にとって「魅⼒的な声」ってなんだろう？1800話者の声に対する900聴取者の「この声すきスコア」を集めてみた．
魅⼒は男⼥間で相関する傾向．⼀⽅で⽚⽅の性別のみに好かれる場合も．
(a) 「若い男性が、はきはきした低い声で怒ったように喋っている」(b) 「10 代の少⼥が、かわいらしい声でまったりとした⼝調で喋っている」

→ 好き
22

Suda et al., “Who Finds This Voice Attractive? A Large-Scale Experiment Using In-the-Wild Data,” Interspeech, 2024.

Coco-Nut:「魅⼒的な声」データベース• 動画サービスにおける「魅⼒的な声」とは？
• いろんなユーザが声質について⾔及している声！
• → 「魅⼒的な声」データベースを作成＆声質説明⽂を付与
30代くらいの男性の声。
ゆっくりと穏やかな話し⽅でした。苦悩に満ちた、けだるそうな声でした。
明るい中年の⼥性がはきはきとした声で楽しそうに喋っている。

23

Cococap-beta：
声質キャプショニング技術

https://huggingface.co/spaces/sarulab-speech/CoCoCap-beta

24

⽅⾔⽂化を残す、復元する、再考する

25

Neural speech restoration：
⾳声⽂化を復元する

ディジタルメディアの前の録⾳
機器は劣化する．廃棄される

⾳声録⾳過程を模擬した⾃⼰教師あり⾳声復元．歴史⾳声だけから現代⾳質への復元を学習できる

1960~70年代にオープンリールに録⾳された東北⽅⾔昔話をディジタル化 (200時間)

現代品質に近づける
26

⾳声⽂化を復元する→新たな動的コンテンツを作る

⾳声⽂化を受動鑑賞する時代を終え，⽣成 AI と組み合わせた能動鑑賞の時代へ27画像から⾳声を出す、環境⾳を出す

28

voice-to-foley：
⾳声模倣からの環境⾳合成

voice-to-foley(時計の針)(猫)(アラーム)

29
Okamoto et al., “Environmental Sound Synthesis from Vocal Imitations and Sound Event Labels,” ICASSP, 2024.

visual onoma-to-wave：
オノマトペ画像からの⾳声合成visual onoma-to-wave

30
Ohnaka et al., "Visual onoma-to-wave: environmental sound synthesis from visual onomatopoeias and sound-source images", ICASSP, 2023.

visual-text to speech (vTTS)：
画像⽂字からの⾳声合成• Visual text: text as an image• Compositionality (構成性)• Emphasis & emotion attribute

•

vTTS

Joy

Sad

• Can synthesize speech from unknown characters• Can transfer attributes of text to speech
Sad

Joy
31
Nakano: “vTTS: visual-text to speech,” SLT, 2023.

まとめ32

まとめ• 声を変える、⼈を変える、⼈を守る• 歌声表現を拡張する• AIアバターの⾳声表現をデザインする• ⽅⾔⽂化を残す、復元する、再考する• 画像から⾳声を出す、環境⾳を出す

33