音声トークナイズが音声言語モデルの性能に与える影響の調査

近年，音声言語処理のための新たな手法としてTextlessNLP1）という試みがある[1]．その目的は，テキスト資源に頼らず音声資源のみを用いてモデルを構築し音声言語処理タスクを実現することであり，対話[2]や翻訳[3]，構文解析[4]などの研究がなされてきた．TextlessNLPは，テキスト資源の少ない言語のモデリングを促進したり，音声に含まれるニュアンスや感情の情報を効果的に利用できるなど，様々な利点が期待できる．また，乳児は音声のみから言語に関する多くの知識を獲得できることを考えれば，TextlessNLPは認知言語学や発達心理学への寄与もあり得る研究であると言える[5]．本研究はその中でも音声言語モデルを研究対象とする．音声言語モデルとは，音声シグナルの連続表現の系列を，有限の語彙集合を持つ離散表現(DiscreteAcousticUnit;DAU)の系列へと変換し，それを用いて言語モデルを学習するものとまとめられる（図1）．本論文では音声の連続表現からDAUへの系列変換を音声トークナイズと呼ぶ．これまでも様々な音声トークナイズ手法が提案されているが1）https://speechbot.github.io/スチョン．音声シグナルから連続表現を抽出し，それを「トークナイズ」することで音声言語モデルを学習する．[6,7,8]，概してベースラインに対する性能比較に留まっており，各手法がどのような形で音声言語モデルの性能に寄与するかは明らかではない．本研究はこの問いに答えるため，音声トークナイズ手法を3つのステップに分解して整理し，各ステップの設定を変えながら同一条件下で音声言語モデルを学習させ性能を比較する．まず，音声トークナイズを(1)分節(2)離散化(3)圧縮の3つのステップに整理する．例えば(1)分節とは，20ms単位の表現となっている音声連続表現を音節などの単位に分節してから離散化するもので，DAUの系列長を削減する効果がある[6,9,10]．本研究では音素単位・単語単位の分節を適用して実験を行った．最終的に合わせて36通りのトークナイズ手法を適用して音声言語モデルを学習させ，音声言語の認識能力を測定する5つのベンチマークで評価を行った．実験の結果，音素単位の分節は性能を向上させる一方で単語単位の分節は性能を劣化させること，離散化時のクラスタ数は多い方が良いことなどが示唆された．また，教師なし分割された音素や単語の分節単位ではなく，固定長の分節でも性能が劣化しないことが観察された．今後は特に分節設定に対する深い検証が必要である..