⾳学シンポジウム2023@電通⼤ ポスターセッション1 (05)

睡眠を誘発する⾳声刺激の⽣成に向けた分析と評価
11

1

1

2

121

◎熊⽥ 順⼀ , 齋藤 佑樹 , ⾼道 慎之介 , 渡邊 亞椰 , 丹治 尚⼦ , ⻑野 瑞⽣ , 井島 勇祐 , 猿渡 洋
(1: 東京⼤学, 2: NTT)
概要:「聴いていると眠くなる声とは何か？」を調査する研究● 本研究:「眠くなる声」の合成に向けた基礎検討 (⾳声特徴量分析)● 睡眠障害: 世界的に深刻な社会問題の⼀つ[1]○ 利⽤者が⼿軽に聴取できる⾳声コンテンツ⽣成への応⽤に向けて○ YouTube の⾳声コンテンツを対象に, 睡眠導⼊⾳声と通常⾳声を⽐較○ 本発表では, ⾳声収集‧前処理‧分析の⽅法 & 主観評価結果を報告○ Covid-19 の流⾏に伴い, その深刻さも増⼤する傾向○ ⼀般的な臨床介⼊法: 認知⾏動療法や睡眠導⼊剤の使⽤■ いずれも⾼価もしくは有害な副作⽤の可能性あり[2]Sleepy or Not● 関連研究: ⾳楽療法に有効な⾳響特徴量の調査と⽣成法○ スペクトル重⼼が低く, 滑らかに変動し, リズム⾳の強調が弱[3]
い⾳楽が有効である可能性を⽰唆● 結果: ⾳声の基本周波数 (F0) & energy の重要性を⽰唆○ 敵対的⽣成ネットワークに基づく⾳楽特徴量変換[4]○ 低めで⾳量が⼩さく, ⾳⾼‧⾳量のばらつきが⼩さい⾳声が望ましい?
○ 「どのような⾳声が眠気を引き起こすか?」は未調査…

YouTube からの睡眠導入音声コンテンツ取得
全体的な処理フロー

⾳声データとその前処理[5]○ 睡眠導⼊⾳声以外 (ノイズ) も多く存在■ 字幕の情報量がない動画○ 睡眠導⼊動画: “あのときの王⼦くん”朗読 (3h)
○ 雑談配信動画: YouTube Live アーカイブ (4h)

【睡眠導⼊】,【睡眠朗読】,【寝落ちラジオ】,etc.

朗読, 絵本読み聞かせ,ラジオ配信をカバー● YouTube 動画の検索結果● 分析対象データ: ⼥性プロ話者1名 (7h)

● JTubeSpeech を参考に構築
1. 検索キーワードの作成:

考察(例:「ご視聴ありがとうございます!」等)■ 睡眠導⼊⽤リラクゼーション⾳楽● 事前学習済みモデルを⽤いた⾳声区間分割

2. YouTube から動画取得:→ 字幕 alignment スコアで除去可能?
○ ⾳声⽣成タスク向けデータは少なめ?

得られた動画IDをリスト化
分割

3. 分析対象話者の選定:

︙

inaSpeech
Segmenter[7]■ BGMあり, 低品質収録, 字幕信頼性低→ ダークデータ⾳声合成[8]の活⽤?

︙

Whisper[6](1) ⾃動字幕付き(2) 背景⾳が最⼩限(3) 睡眠導⼊以外の発話有字幕② 分割された各⾳声区間を{ ⾳声, 無⾳, 雑⾳, ⾳楽 } に分類① 動画1本分の⻑い⾳声波形を⾃動字幕ベースでラフに分割
本研究で収集した
⾳声区間の量4. ⾳声区間分割:
事前学習済みモデルを活⽤した2段階での分割

区間数

︙

︙

● ⾳声区間分割結果○ 睡眠導⼊: ⾮⾳声区間の割合が⾼■ 無⾳: 朗読特有の間の取り⽅に起因?
■ 雑⾳: 瞬間的に発話が⽣じる無⾳区間■ ⾳楽: 冒頭‧終了で⼊るBGM (編集)

inaSpeechSegmenter による分類結果の割合

区間⻑ 総時間平均 [s] [h]⾳声無⾳雑⾳⾳楽

睡眠導⼊ 2,890

2.27

1.83

0.602 0.199 0.185 0.014

雑談配信 4,020

2.96

3.33

0.859

0.115

0.019

○ 雑談配信: ⾳声区間の数と⻑さが⼤■ ⾃発⾳声特有の発話密度の⾼さに起因?
■ フィラーや⾔い淀みなども多く含む

0.007

睡眠導入音声の分析 & 音声印象に関する主観評価
⾳声分析

主観評価結果(b) エネルギー[9]○ F0: WORLD ボコーダ で抽出○ Energy: librosa.feature.rms● 統計量の可視化 (右図)○ 概ね, 睡眠導⼊動画の⾳声がmean, std ともに⼩さい● 評価スコアの barplots (* は p < 0.05 で有意差あり)○ Valence (不快-快) に関する評価結果 (上2つ)■ ボコーダ分析再合成での劣化が不快であると評価される傾向あり?

○ Arousal (睡眠-覚醒) に関する評価結果 (下2つ)

標準偏差(std)● 韻律特徴量

平均 (mean)(a) F0 [Hz]■ 睡眠導⼊⾳声: 韻律特徴統計量の値が⼩さくなると“睡眠”側にシフト■ 雑談配信⾳声: F0 mean が⼩さくなると睡眠誘発効果あり?
睡眠導⼊ 雑談配信
快主観評価条件● ⾳声刺激の⽤意 (睡眠導⼊/雑談配信で共通)○ 準備: データを韻律特徴量の四分位数で分割■ 四分位数の計算時には ⾳声区間⻑が 3.5[s] 以下のデータを除外■ グループの数: { F0, energy } x { mean, std } x { Q1, Q2, Q3, Q4 } = 16
韻律特徴量

統計量

統計量の値でソート(e.g., F0平均)
Min覚醒

四分位グループ

Q1

Q225%

Q3
Med

不快Q475%

Max○ 前処理: WORLD ボコーダによる分析再合成処理を適⽤

睡眠■ 信号処理を⽤いた⾳声加⼯を想定 (サンプリング周波数: 48 [kHz])● 本発表のまとめ● 評価基準: valence (不快-快) & arousal (睡眠-覚醒)○ ⾳声刺激を聴いた後の被験者⾃⾝の気分‧⼼理状態を7段階で回答● 被験者数: Lancers で募集した240名 (30名/評価)■ (分割基準統計量, 発話スタイル) のグループごとに評価を実施■ 各グループから無作為に抽出された20サンプルを評価○ 睡眠導⼊⾳声: 低めの声で⾳量を⼩さく, ⾳⾼‧⾳量のばらつきが⼩さくなるように意図して発話される傾向あり○ 通常発話でも, F0 mean が低い⾳声は睡眠導⼊効果あり? → 要調査● 今後の展望: テキスト⾳声合成 / 声質変換タスクでの調査

Reference[1] E. Altena et al., Journal of Sleep Research, vol. 29, no. 4. 2020.
[2] L. Degenhardt et al., Drug and Alcohol Dependence, vol. 67,
no. 1, 2002.
[3] G. T. Dickson et al., Musicae Scientiae, vol. 26, no. 3, 2020.
Saruwatari-Takamichi Lab., The University of Tokyo, Japan.
©Junichi Kumada, Jun. 2023

[4] J. Yang et al., Proc. ICASSP, 2022.
[5] S. Takamichi et al., arXiv:2112.09323, 2021.
[6] A. Radford et al., Proc. ICLR, 2023.

⾳学シンポジウム2023, 電通⼤[7] D. Doukhan et al., Proc. ICASSP, 2018.
[8] K. Seki et al., Proc. ICASSP 2023.
[9] M. Morise et al., Speech Communication,
vol. 84, 2016.
This is the joint work between
NTT & The University of Tokyo. Japan.