一人称・三人称視点対話収録システムとエゴセントリック津軽弁音声対話コーパスの構築

大規模言語モデルの登場により，人間と対話システムとの言語的インタラクションの自然性は飛躍的に向上した[1,2,3]．これに追従する形で，音声対話においても，よりインタラクティブな対話を志向した研究が進展している．近年では，話者とシステムが同時に発話・聴取を行うfull-duplex音声対話モデルが提案されており[4,5,6,7,8]，音声対話研究のさらなる高度化が期待される．このようなfull-duplex音声対話モデルの発展において，特に重要な課題として二点が挙げられる．一つはマルチモーダル化である．人間同士の対話では，音声，表情，身振り手振りなど複数モダリティが相互作用する[9,10,11]．同様に，full-duplex音声対話モデルにも複数モダリティの統合が求められるが，その学習と評価に適した，時刻同期された音声・映像日本語対話データは十分に整備されていない．また，対話システムは人間と同様に一人称視点で環境を知覚し応答すべきであり，エゴセントリック（一人称視点）での収録が望ましい．∗同等の貢献もう一つは言語変種，特に地域方言への対応である．地域方言は，音韻・韻律といった音声学的特徴から語彙・文法・談話構造に至るまで多層的に変異し，自然対話の成立に大きく関与する．しかし，日本語の既存音声対話コーパス[12,13]1）やfull-duplex音声対話モデル[5]2）は標準語中心であり，地域方言の多様性を十分に扱えていない．本研究では，上記の課題に対処するため，(i)一人称・三人称の両視点から音声・映像を同期収録できるマルチモーダル対話収録システムを設計・構築し，(ii)そのシステムを用いて，消滅が危惧されている方言の一つである津軽弁3）の音声対話コーパスを構築する．提案システムは，二者対話の音声・映像を多視点から同時に収録できる．本稿では，まず収録システムの設計を述べ，次に12名の話者による30セッション（総収録時間約16.8時間）からなる津軽弁音声対話コーパスの概要と分析結果を報告する．本コーパスは，国立情報学研究所4）が管理するリポジトリでの公開を予定している．