日本語Full-duplex音声対話システムの試作

人間同士の自然な音声対話の実現に向け，full-duplex音声対話システムが注目されている[1,2,3]．対話におけるfull-duplexとは，発話のオーバーラップや相槌などの同時双方向的な特徴を示す．互いに相手の発話終了を待ってから応答する従来の対話システム[4,5]の課題を解決する上で，full-duplex音声対話システムの研究は必要不可欠である．Moshi[6]は，代表的なfull-duplex音声対話システムであり，自身とユーザ両方の音声系列を並列にモデル化することで，full-duplexな対話を実現する．その他にも，主に英語において，full-duplex音声対話システムの研究が増加している[7,8,9]．一方，日本語で利用可能なfull-duplex音声対話システムは未だ公開されておらず，英語と比較して，full-duplex音声対話システムに関する知見は不足している．本研究の目的は，日本語初のfull-duplex音声対話システムのベースラインを提供することである．本研究では，日本語音声対話データを用いた事前学習およびファインチューニングによって，英語のfull-duplex音声対話システムであるMoshi[6]を日本1）学習済みモデルおよび生成音声のサンプルはhttps://nu-dialogue.github.io/j-moshiで公開している．時間方向ユーザ発話𝑡_0𝑡_1𝑡_2𝑡_3𝑡_4𝑡_5𝑡_6!𝑎_0𝑎_1𝑎_2𝑎_3𝑎_4𝑎_5𝑎_6深さ方向（17階層）①𝑏_0𝑏_1𝑏_2𝑏_3𝑏_4遅延Encoder𝑖_0𝑖_1𝑖_2𝑖_3𝑖_4𝑖_5𝑖_6遅延②𝑗_0𝑗_1𝑗_2𝑗_3𝑗_4MimiTemporalTransformer③④𝑎_7DepthTransformerDecoderテキストトークン列(Moshi)Textlinear𝑏_5音声トークン列(Moshi)⑤音声トークン列(ユーザ)𝑖_7𝑡_7🤖𝑗_5RQ-TransformerMoshi発話クンにエンコードするニューラル音声コーデックMimiと，テキストトークンおよび音声トークンの系列を自己回帰的にモデル化するRQ-Transformerから構成される．語化する．事前学習では，約6万時間のモノラル音声対話を含むJ-CHATコーパス[10]を用いることで，日本語音声対話の基礎能力を獲得させる．そしてファインチューニングでは，2話者の音声が別々のチャネルで収録された高品質なステレオ音声対話データ344時間を用いることで，日本語での完全なfull-dupelx音声対話をモデル化する．人間評価実験を通して，日本語化されたMoshiの音声対話生成能力を検証する．