CPCとメルスペクトログラムの融合による音声セグメンテーション：VoiceActivityProjectionアーキテクチャの適応と評価

音声区間分割（セグメンテーション）タスク[1,2]は，連続した音声信号から発話が含まれる区間を特定し，話者の交代点である境界を検出する技術である．音声処理における基本的な技術であり，その精度は多くの後続アプリケーションの性能に決定的な影響を与える[3,4,5]．近年，対話におけるターンテイキング予測モデルとして，VoiceActivityProjection(VAP)[6]が大きな成功を収めている．VAPの成功の鍵は，自己教師あり学習(SSL)モデルであるContrastivePredictiveCoding(CPC)[7]の特徴量を採用した点にある．CPCは膨大なラベルなしデータから長期的な文脈依存関係を学習しており，VAPは高度な会話文脈を捉え，非常に硬い性能を達成している．ターンテイキングを正確に予測するというVAPの目的は，本質的に「誰が話しているか，いつ話し終えるか，そしていつ次のターンが始まるか」というセグメント境界の予測タスクと同等であると考えられる．そこで本研究では，VAPのアーキテクチャは，明示的な音声セグメンテーションタスクを学習するための強力かつ合理的なフレームワークとして転用可能であるという仮説を検証する（RQ1）．また，音声セグメンテーションタスクにおいては，近年はCPCによるマクロレベルの特徴量が用いられることが多いが，歴史的にはメルスペクトログラムのような局所的な音響的特徴が用いられてきた．CPCによって捉えられる特徴量はマクロレベルの文脈特徴であり，正確なセグメンテーションに不可欠な，瞬時のスペクトル変化などのミクロレベルの特徴をうまく捉えられていない場合がある．そこで本研究では，文脈的特徴（CPC）と音響的特徴（メルスペクトログラム）が補完的であると考え，テクチャで相補的に用いることで，精度向上を図る（RQ2）．1)VAPアーキテクチャを，音声セグメンテーション専用のフレームワークとして適応・検証した．2)この特定のVAPベースのフレームワーク内にマルチモーダル特徴量を導入し，高レベルのSSL特徴量（CPC）と低レベルの音響特徴量（メルスペクトログラム）を融合させることで，セグメンテーション精度が大幅に向上することを示した．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).れていたが，本研究ではモノラル音声を扱う．ただしマクロ，ミクロレベル双方の音響特徴のインタラクションをモデル化するため，VAPアーキテクチャの両方の入力ブランチに入力する構成をとる．1.ベースラインモデル（VAP-Architecture/CPC-only）：両方の入力ストリームに，同一のモノラル音声信号から抽出されたCPC特徴量を入力する．この構成では，並列なブランチで同一の特徴量が処理されるため，提案モデルと同一の構造でマクロ・ミクロレベル特徴量のインタラクションを考慮しない場合に相当する．