⽇本⼤学 ⽂理学部
マルチメディア情報処理 (2024/07/23)

⾳声合成‧歌声合成が拓く未来

⾼道 慎之介 (慶應義塾⼤学)

⾃⼰紹介

名前
⾼道 慎之介 (たかみち しんのすけ)
現職
東京⼤学 講師 → 慶應義塾⼤学 准教授
経歴
離島→熊本⾼専→⻑岡技⼤→奈良先端⼤2016年に博⼠ (⼯学)．
@forthshinji兼務
東京⼤学 特任准教授
理研 客員研究員
他

2

本講演のテーマ

計算機による声合成はどこまで来たのか？
これからどう進んでいくのか？

3

⾳声情報処理の基礎知識

4

発声器官のモデル: ソース‧フィルタモデル

声道 (フィルタ)
⼝や喉を動かして⾳源信号を⾳⾊付け
⾳声波形
畳込み

⾳源 (ソース)
肺からの呼気を声帯の開閉で制御
5

⾳声のもつ情報とそれを扱う主な⾳声技術

物理

物理

情報
⾳声認識

Linguistic（⾔語情報）
⾔語で記述可能な情報

テキスト
⾳声合成

感情⾳声合成⾳声感情認識Para-linguisticなどなど（パラ⾔語情報）⾔語で記述できず，話者が意図的に付与した情報（感情など）
話者制御
Non-linguistic
⾳声合成など（⾮⾔語情報）⾔語で記述できず，話者の意図と無関係に付与される情報（話者性など）

話者認識など6

⾳声合成とは• 狭義には，テキストから⾳声を合成する技術• ＝テキスト⾳声合成
テキスト

テキスト
⾳声合成

⾳声

• 広義には，何らかの情報から⾳声を合成する技術• {⾳声, 動画, 話者情報, 概念} to speech
テキスト⾳声合成 テキスト
⾳声‧歌声変換
歌声合成

⾳声
楽譜

広義の⾳声合成

⾳声

対話⾳声合成 対話⽂脈
7

紹介する研究紹介 20連発！(2023年以降を中⼼に)研究事例紹介①：⼈間の⾳声表現を拡張する研究事例紹介②：⾳声の⽂化を守る
研究事例紹介③：コンピュータが⼼をもったときに研究事例紹介④：歌の可能性を広げる
研究事例紹介⑤：⾳声に関する感性を定量化する研究事例紹介⑥：環境⾳を⼈⼯的に作り出す
8

研究事例紹介①
⼈間の⾳声表現を拡張する技術

9

ハンターハンター ボイスチェンジャー

“⾃ 分の声が『HUNTER×HUNTER』のキャラクターの声に変 換されてスピーカーか10
ら流れ、なりきりアフレコ体験ができます”
https://prtimes.jp/main/html/rd/p/000003399.000002581.html

スマホで動くリアルタイムボイスチェンジャー

https://www.youtube.com/watch?v=mc7HXXQ8P7Q

11

Digital speech makeup：
⾳声の「鏡」を作る

⾃分で聞く⾃分の声が変わると，⾃⼰の認識が変わる．認識が変わると⾏動が変わる
Arakawa et al., “Digital Speech Makeup: Voice Conversion Based Altered Auditory Feedback for Transforming Self-Representation” ICMI 2021.

12

エモーションキャンセリング：
⾳声への「盾」を作る

話し⼿の⾳声と聞き⼿の知覚感情を明らかにし，聞き⼿の⼼的負担を軽減する
https://www.softbank.jp/corp/news/press/sbkk/2024/20240515_01/

13Spatial voice conversion:
空間上の狙った声だけ変える
Two persons are speaking to me (woman from left, man from right.)

Spatial voiceconversion

14
Converts desired speaker’s voice (left in demo) without changing other info.
Seki et al., “Spatial Voice Conversion: Voice Conversion Preserving Spatial Information and Non-target Signals,” Interspeech, 2024.

研究事例紹介②
⾳声の⽂化を守る

15

Neural speech restoration：
⾳声⽂化を復元する

ディジタルメディアの前の録⾳
機器は劣化する．廃棄される

⾳声録⾳過程を模擬した⾃⼰教師あり⾳声復元．歴史⾳声だけから現代⾳質への復元を学習できる

1960~70年代にオープンリールに録⾳された東北⽅⾔昔話をディジタル化 (200時間)

現代品質に近づける

Takaaki Saeki et al., "SelfRemaster: Self-Supervised Speech Restoration for Historical Audio Resources," IEEE Access, 2023.

16

⾳声⽂化を復元する→新たな動的コンテンツを作る

⾳声⽂化を受動鑑賞する時代を終え，⽣成 AI と組み合わせた能動鑑賞の時代へ
https://sites.google.com/view/ninjal-disciplinary-prj-202317

研究事例紹介③
コンピュータが⼼をもったときに18

⾃然に間違う⾳声AI エージェント：「あー」「えー」のフィラーとその個⼈性

フィラー語の使⽤頻度

ざっくりいうと，(ｱﾉｰ)先ほど(ｱﾉｰ)少し(ｱﾉｰ)お話ししましたけども，戦後のそういうサブカルチャーのイメージという…

1

2

3

4

ざっくりいうと，先ほど少しお話ししましたけども，戦後のそういうサブカルチャーのイメージという…
19

Y. Matsunaga et al., "Improving robustness of spontaneous speech synthesis with linguistic speech regularization and pseudo-ﬁlled-pause insertion," Proc. SSW, 2023.

Neural laughter generation：
笑い声を合成する• コンピュータも笑ってほしい• 笑い声はテキストで書けない．だから，テキストの変わりに「⾃動で⾒つけた⾳の塊」を使う．それを確率モデルで予測．
笑い声学習
Learned-symbol LM
Learns probabilityof next symbol

笑い声合成
Learned-symbol LM
Stochastic sampleof next symbol.

ﾜ ｯ ﾊ ｯ ﾊ ｯsymbols
AnalysismoduleSynthesis
module“ﾜｯ ﾊｯ ﾊｯ”
Raw voice“ﾜｯ ﾊｯ ﾊｯ”
Re-synthesized voice

Speaker ID

Synthesis
moduleDetai Xin, et al., "Laughter synthesis using pseudo phonetic tokens with a large-scale in-the-wild laughter corpus," INTERSPEECH, Dublin, Ireland, Aug. 2023.

20

Mid-attribute speaker generation：
バイナリの属性を超えた⾮実在話者”こんにちは”話者を選べるAI⾳声合成実在する男性話者A⼀⼈の話者を選んでその話者の声を合成

実在する男性話者B

確率の補間

確率の補間

⾮実在話者を⽣成
確率的に⽣成男性話者の特徴の確率
男性にも⼥性にも聴こえる
⼥性話者の特徴の確率
特徴の確率
話者の特徴を表す数値（例えば，⾳⾼，声⾊を表す多次元の数値）
⽣成

Watanabe et al., "Mid-attribute Speaker Generation using Optimal-Transport-based Interpolation of Gaussian Mixture Models," Proc. ICASSP, 2023.

21研究事例紹介④
歌の可能性を広げる22

時を超えて蘇る50年前の歌声 〜スモールデータを⽤いたタスク混合深層学習による歌唱再現〜“歌⼿の松任⾕由実⽒が50年前にデビューした当時の歌声を⼈⼯再現する技術を開発しました。(中略) 当時の声⾊と歌唱表現を忠実に再現することに成功しました” 23
https://www.i.u-tokyo.ac.jp/news/ﬁles/ist_pressrelease_20221003_takamichi_s.pdf

歌声合成

https://www.ah-soft.com/synth-v/

24

jaCappella：
他者と相互作⽤するAIシンガー& アカペラDB• ⼈間歌⼿とAI歌⼿が相互作⽤する社会へ• 歌声信号レベルでの相互作⽤の例がアカペラ• 相互作⽤を分析‧再現する技術• 相互作⽤により⽣まれる⼀体感とは？
• 計算機は⼀体感を⽣み出せるか？

Nakamura: “jaCappella Corpus: A Japanese a Cappella Vocal Ensemble Corpus,” ICASSP, 2023.

25

歌唱者間相互作⽤を模擬するアカペラ合成
⼈間歌唱者同⼠は，楽譜レベル‧
⾳声レベルの相互作⽤を起こす

兵藤 他, “歌唱者間相互作⽤を再現するDNN重唱歌声合成の検討”, MUS研究会, 2024.

AI歌唱者同⼠で，楽譜レベル‧
⾳声レベルの相互作⽤を起こす

26

Audio eﬀect chain 推定• Audio eﬀect をかけて⾳楽制作‧ライブの芸術性を⾼める
ChorusDistortionReverb• Audio eﬀect chain 推定は、処理後の信号 (wet signal) からeﬀect を推定する。その eﬀect を他の⾳にも適⽤できる。

Take et al., “Audio Effect Chain Estimation and Dry Signal Recovery from Multi-Effect-Processed Musical Signals,” DAFx, 2024.

27

研究事例紹介⑤
⾳声に関する感性を定量化する

28

Coco-Nut:「魅⼒的な声」データベース• 動画サービスにおける「魅⼒的な声」とは？
• いろんなユーザが声質について⾔及している声！
• → 「魅⼒的な声」データベースを作成＆声質説明⽂を付与

30代くらいの男性の声。ゆっくりと穏やかな話し⽅でした。苦悩に満ちた、けだるそうな声でした。
明るい中年の⼥性がはきはきとした声で楽しそうに喋っている。
Watanabe et al., “COCO-NUT: Corpus of Japanese Utterance and Voice Characteristics Description for Prompt-Based Control,” ASRU, 2023.

29

Cococap-beta：
声質キャップショニング技術• Cococap-beta• https://huggingface.co/spaces/sarulab-speech/CoCoCap-beta• これ以外にも，声質表現⽂と⾳声の相互変換が可能になる！
• 声質表現⽂ → ⾳声 (⾃然⾔語による⾳声検索)• 声質表現⽂ → TTSシステム (⾃然⾔語による⾳声AIデザイン)• それ以外にも：感情キャプショニング

https://huggingface.co/spaces/sarulab-speech/CoCoCap-beta

30

CocoNut-Humoresque：「魅⼒的な声」データベースと嗜好分析

話者の声の⾼さ

各個⼈にとって「魅⼒的な声」ってなんだろう？
1800話者の声に対する900聴取者の「この声すきスコア」を集めてみた

嫌い ←→ 好き

魅⼒は男⼥間で相関する傾向．⼀⽅で⽚⽅の性別のみに好かれる場合も．
(a) 「若い男性が、はきはきした低い声で怒ったように喋っている」(b) 「10 代の少⼥が、かわいらしい声でまったりとした⼝調で喋っている」
Suda et al., “Who Finds This Voice Attractive? A Large-Scale Experiment Using In-the-Wild Data,” Interspeech, 2024.

31

研究事例紹介⑥
環境⾳を⼈⼯的に作り出す

32voice-to-foley：
⾳声模倣からの環境⾳合成• ⾳声模倣：⾮⾳声を声まねしたもの• 直感的に環境⾳を合成できる⽅法• → ⾳声模倣から環境⾳を合成できるのでは？

voice-to-foley(時計の針)(猫)(アラーム)
33

Okamoto et al., “Environmental Sound Synthesis from Vocal Imitations and Sound Event Labels,” ICASSP, 2024.

onoma-to-wave：オノマトペからの環境⾳合成• オノマトペ：⾳を⽂字で模倣したもの• 環境⾳の時間構造を⽂字で表してくれる．
• → オノマトペ⽂字から環境⾳を合成できるのでは？

「チーッ」「リンリン」「ビイイイ」

onoma-to-wave(ホイッスル)(ベル)(シェーバー)34

Okamoto et al., "Onoma-to-wave: Environmental sound synthesis from onomatopoeic words," APSIPA transactions, 2022.

visual onoma-to-wave：
オノマトペ画像からの⾳声合成• 画像オノマトペ：漫画などで⽤いられる⾳表現• オノマトペだけでなく，画像エフェクトでも情感を伝える• → オノマトペ画像から環境⾳を合成できるのでは？

visual onoma-to-wave

35
Ohnaka et al., "Visual onoma-to-wave: environmental sound synthesis from visual onomatopoeias and sound-source images", ICASSP, 2023.

まとめ

36

まとめ
研究事例紹介①：⼈間の⾳声表現を拡張する研究事例紹介②：⾳声の⽂化を守る
研究事例紹介③：コンピュータが⼼をもったときに研究事例紹介④：歌の可能性を広げる
研究事例紹介⑤：⾳声に関する感性を定量化する研究事例紹介⑥：環境⾳を⼈⼯的に作り出す
⾳声合成‧歌声合成 ＝ ⾳を正確に再現する、だけではありません。
37
価値観をどう更新できるか、⼈間をどう幸せにできるかを考えてください。