ラベル付き系列予測による音声シグナルのTextless依存構造解析

近年，音声言語処理に対する新しいアプローチとしてTextlessNLP1）という試みがある[1,2,3]．これは，音声認識モデルとテキスト処理モデルを直列接続する従来のアプローチと異なり，陽に音声認識を行わずに音声表現ベクトルを直接用いて学習を行うというものである．Textlessなアプローチを取ることで，テキスト資源の少ない言語のモデリングを促進したり，音声に含まれるニュアンスや感情の情報を効果的に利用できるなどといった効果が見込まれる．また，乳児はテキストを使わず音声のみから言語に関する多くの知識を獲得できることを考えると，TextlessNLPは認知言語学や発達心理学への寄与もあり得る研究分野である[4]．本研究ではTextlessNLPの取り組みのうち，特に依存構造解析に注目する．依存構造解析は，単語間の依存関係を予測して構文構造を出力する技術であり，自然言語処理において長年研究されている基1）https://speechbot.github.io/wav2tree[5]提案手法法は音声認識モジュール(CTC+softmax)を挟む一方，提案手法は音声表現ベクトルから依存構造を表すラベル付き系列を直接予測するTextlessなアプローチを取る．礎技術の一つである．音声シグナルから依存構造解析を行う研究としてwav2tree[5]があるが，これは従来式の直列接続によるアプローチとなっている．本研究では，図1に示すように，音声表現ベクトルから依存構造を表すラベル付き系列を直接予測するTextlessなアプローチを提案する．同じ枠組みでPOSタグを予測する研究はあるが[6]，単語間の依存関係，すなわち主辞の位置や依存関係のラベルを予測することができるかどうかは未知である．実験の結果，Textlessな依存構造解析は十分可能である一方，頻度の低い依存関係の予測においては語彙情報の寄与が大きいことが示唆された．これは言語の二重分節性から来る帰結であるとも考えられる．今後の方向性として，どのような音声言語処理タスクがTextlessに実行可能なのかを調査することで，人間の言語獲得過程に関する知見の提供も期待される．.(a)NOTMATCH(b)ASR-to-NULL(c)Trans-to-NULL𝑤1𝑤2𝑤3𝑤1𝜀𝑤3𝑤1𝑤2𝑤3𝑤1𝑤′