低資源言語音声認識における𝑛-gram言語モデルの有効性と無効性

注意機構を用いたTransformer[1]の登場と計算資源の向上により，多言語音声認識の分野はは目覚ましく発展した．特に，HuBERT[2]やWav2Vec2[3]といった自己教師あり学習（self-supervisedlearning）を用いたモデルは，大量のラベルなし音声データを事前訓練データとしてその音声特徴を学習するように訓練することで，抽象的な文脈化埋め込み表現（contextualizedembedding）を得ることができる．この手法を多言語データに応用することで，多様な音声言語の一般的な特徴を捉えた埋め込み表現を得ることが可能となり，少量の教師ありデータを用いてコネクショニスト時系列分類（CTC）を行う層を付加するファイン・チューニングを行うことで，様々な言語の音声認識モデルを訓練することができる．ファイン・チューニングでは，事前学習済みモデルによって得られたフレーム単位の音声の文脈化埋め込み表現を語彙数（一般的には文字素の数）分の次元数を持ったベクトルに写像する層を追加し，正解ラベルが得られるような文字列の予測の確率を最大化するように，すなわちCTC損失を最小化するように訓練を行う．推論時には，モデルの出力のロジットをもとにデコーディングを行うが，ここでいくつかの手法が存在する．一つ目は貪欲法（greedydecoding）であり，フレーム毎のロジットのうち最も確率の高い文字を選択する．二つ目はビーム探索（beamsearchdecoding）で，上位𝛽件（ビーム幅）の候補のみを保持しながら幅優先探索を行ってデコードする手法である．これにより，貪欲法で選ばれるような局所的な最適解にとらわれず，より文脈を考慮した出力が可能になる．三つ目は𝑛-gram言語モデルを利用したビーム探索である．これは，ビーム探索に語単位の𝑛-gram言語モデルの確率を加えることで，さらに広い文脈を考慮したデコーディングを行う．実際に，貪欲法よりも，ビーム探索や言語モデルを組み合わせたデコーディングがより正確に書き起こしを予測できることは経験的に知られている[4,5]．近年の研究では，𝑛-gram言語モデルの統合が低資源言語にもある程度有効であることが示されている[6]が，その有効性は言語によって異なる上に，どのような状況下で言語モデルが有効であるのかは示されていない．そこで，本研究では，21の低資源言語を対象として，それぞれに音声認識モデルを訓練し，貪欲法，ビーム探索，𝑛-gram言語モデルを用いたデコーディングの精度を比較する1）．1）訓練・推論・分析のコードは，https://github.com/ctaguchi/multi-kakiokoshiおよびhttps://github.com/ctaguchi/multi-kakiokoshi-inferenceで公開している．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).うに定式化できる．•貪欲法:)(∏ˆ𝑦greedy=B𝑡𝑃(𝜋𝑡|𝑥𝑡)argmax𝜋•ビーム探索:ˆ𝑦beam=argmax𝑦𝑃CTC(𝑦|𝑥)∑∏𝑡𝑃(𝜋𝑡|𝑥𝑡)=argmax𝑦𝜋∈B−1(𝑦)•𝑛-gramモデルを用いたビーム探索:ˆ𝑦𝑛=argmax𝑦(log𝑃CTC(𝑦|𝑥)+𝛼log𝑃LM(𝑦)+𝛽|𝑦|)ここで，ハイパーパラメータ𝛼は言語モデルをどれだけ信頼するかの重みで，𝛽は単語数を制御するペナルティである．貪欲法では常に確率が最大となる文字素そ選択するため，隣接する文字素同士の文脈を直接は考慮しないが，ビーム探索ではより柔軟に文字素の共起関係等に基づいた予測を行う．さらに𝑛-gram言語モデルを組み込むことで，文字素動詞のみならず，語同士の共起関係も考慮し，文脈上および正書法上正しい語形の予測を促す．実験では，貪欲法，ビーム探索，2-gram言語モデルを用いたビーム探索，5-gram言語モデルを用いたビーム探索の四つのデコーディング手法を用いて比較する．なお，ビーム幅はどの場合も50で固定し，ハイパーパラメータとして𝛼=0.2，𝛽=0.0を用いる．4結果と分析4.1実験結果実験の結果を表2に示す．検証した21言語のうち，大多数の言語（18言語）において，5-gram言語モデルを用いたデコーディングは貪欲法よりも誤り率を平均18.8%低下させ，音声認識精度の向上に有効であった．しかし，ウィチョル語（hch），コンゾ語（koo），ケニ語（lke）の三言語では，5-gram言語モデルはむしろ認識精度を大きく（平均19.3%）悪化させた．以下の節では，この性能悪化の原因の仮説を立て，検証する．4.2なぜ特定の言語で性能が低下したかデータはどの言語においても自発的な発話であり，訓練データの合計音声長は一貫して約6時間弱であるため，ドメインや訓練データ量の差異といった非言語的な要因に起因する結果とは考え難い．また，言語の音韻的複雑性が認識精度に影響を与えることも考え難い[14]ことから，言語の形態統語論および正書法上の特徴がこのような差を引き起こしているという仮説を立てることができる．実際に，5-gram言語モデルの使用によって認識精度が悪化した言語(1)とそうでない言語(2)を比較すると，精度が悪化した言語は一語4）がより多くの文字から成っていることがわかる．ウィチョル語（ユト・アステカ語族）の形態論は複統合的（polysynthetic）な性格を持ち，名詞抱合（nounincorporation）や動詞の屈折を通して，一語が多くの形態素から成立しうる[15]．また，コンゾ語とケニ語（バントゥー諸語）は膠着語であり，特に複数の形態素が語基の前に付加されうる[16]．そのため，これらの言語では語のタイプが多様になりやすく，𝑛-gram言語モデルの確率分布がまばらになり，誤った語の組み合わせが予測されていると考えられる．(1)a.hch:Nenunuutsiyarinep1tiukwaiximekaim1tiumawekaitsie’unak1,kuukurik1(...)b.koo:Abalhwereabakabondeisithwasolholhabonakutsibutsibuomwamibirieyathukakolha,(...)c.lke:Insobolaekyokwembesianadalangaokubbaemgomaeyolukenyeinjisobolaninjikuba(...)(2)a.aln:kurshokuemmwpershwndetpwrzotindalepinjwkafe,pwrshembull,edhepinjw(...)b.bxk:Yanibyakhulyanibyoolyabyakhuwelesyabulamubulayi,elibyakhulyabyebatekhile(...)c.led:Madhovùgányùndanímaróngadéylˇanímadhozzddínyˇundanímaróngadéylˇaní(...)4.3仮説検定上記の議論に基づき，本節では「語の分布のまばらさ」を定量化する様々な指標を用いて，スパースな語の分布が𝑛-gram言語モデルを組み合わせたCTC音声認識の性能と相関するかを検証する．語の分布のまばらさは多様な定義ができるため，ここでは以下に説明する複数の指標を用いて，回帰分析を行う．ここで，目的変数は，ベースラインの貪欲法のWERと5-gram言語モデルデコーディングのWERの差とする．以下では，𝑉を語彙の集合，𝑝(𝑥)を語𝑥の確率とする．4）ここでは，スペースで区切られるトークンを語とする．org/licenses/by/4.0/).alnbewbxkcggel-CYhchkcnkooledlkelthmehmmcpnerucrwmscotobtopttjukv貪欲法47.3949.6947.5440.5638.4154.7448.4066.9928.3054.5834.6939.1060.7032.3832.0256.8056.0854.5156.3623.8438.9819.0716.8413.129.5312.3811.8120.1519.5110.3115.0315.1715.2126.0711.7211.9713.7520.3216.6112.874.3012.78ビーム探索46.7348.9047.7540.2338.1354.4647.4366.9528.3053.9834.5438.2960.3232.1631.7656.3955.6954.5155.2523.4839.1418.9016.6413.099.4712.1911.7119.9719.4010.2914.8915.1315.0425.8211.6911.8513.6320.1816.5812.714.2412.852-gram42.9645.4848.6239.8332.7452.9143.0072.6626.3955.6331.0035.5858.4728.6327.7057.0656.7053.3459.5121.9836.3618.5816.4713.339.4811.7311.3819.3820.179.8315.4614.6314.8625.6611.1511.5814.0620.7916.4313.354.1312.255-gram37.9540.1739.3431.1228.7162.8938.5874.5921.5666.6228.2531.5655.2824.2923.3645.7150.6546.0745.8414.1232.2717.7215.6112.028.2910.9412.9018.4321.328.5917.7514.0413.8224.8110.1410.5212.4219.8515.0911.623.1111.481-gramエントロピー1-gramエントロピーは各語形の確率をもとに求められる情報量であり，以下のように定義される．𝐻unigram=−∑𝑥∈𝑉𝑝(𝑥)log2𝑝(𝑥)log2|𝑉|2-gramエントロピー2-gramエントロピーは語𝑥の次に語𝑦が観測される確率をもとに求められる情報量であり，以下のように定義される．𝐻bigram=−∑𝑥,𝑦∈𝑉𝑝(𝑥,𝑦)log2𝑝(𝑦|𝑥)log2|𝑉|Zipf傾斜Zipfの法則によれば，自然言語の語彙は𝑓(𝑟)∝𝑟−𝑠（𝑟は頻度の順位）のように，少数の高頻度語彙と多数の低頻度語彙から成る指数関数的な分布を示す[17]．しかし，形態論的に複雑な言語では高頻度の形態素も複数の語形で出現しうるため，分布がより緩やかな傾斜を示し，−𝑠がより大きくなると考えられる．そこで，頻度と順位の対数近似を行い，求められた−𝑠の値を比較する．タイプ・トークン比タイプ・トークン比（type-tokenratio）はコーパスの合計語数𝑁を語彙数で割ったものであり，高いほど多様な語形が出現していると言える．孤語比孤語（hapaxlegomena）とは，コーパス中で一度しか出現しない語形のことであり，形態論的に複雑な言語ほど孤語比が高いと考えられる．テイル確率質量孤語比と関連して，形態論的に複雑な言語では，コーパス中に数回しか出現しない語が多く存在すると考えられる．そこで，出現確率が1%以下の語をテイルとして，その確率質量を指標として用いる．ジニ係数ジニ係数Gini∈[0,1]は主に経済学で用いられる指標であるが，データの不均等さを表すため，本分析の指標としても用いることができる．長さ𝑛の数列のジニ係数は以下の式から算出される（𝑝𝑖は第𝑖位の語の確率）．𝑛∑𝑖=1(2𝑖−𝑛−1)𝑝𝑖Gini=平均語長複統合語や膠着語では多数の形態素が接辞として組み合わされるため，一語が長大になる傾向がある．そこで，語の平均文字数|𝑥|·𝑓𝑥𝑁（𝑓𝑥は語𝑥の出現回数）を指標の一つとして用いる．4.4検証結果すべての指標の数値を説明変数として用いて回帰分析を行った結果，回帰モデルは説明変数の分散のおよそ半分を説明しており（調整済み𝑅2=0.48），説明変数と目的変数の間に統計的に有意な関連が認められた（𝑝=0.032<0.05）．しかし，これら8つの説明変数はどれも形態論的複雑性や語の分布のばらつきを測ることを目的とした指標に基づくものであり，説明変数同士が非常に強い相関関係を持つ多重共線性（multicollinearity）を有していると考えられ，今回のデータに過剰適合したモデルである可能性がある．そこで，主成分分析を用いて多重共線性を除去し，次元数は保持して主成分回帰を行ったところ，やはり回帰モデルは説明変数の分散を概ね説明し（調整済み𝑅2=0.61），説明変数と目的変数の間に統計的に有意な関連が認められた（𝑝=0.0073<0.05）．したがって，形態論的に複雑で，スパースな語の分布を持つ言語のデータを用いた音声認識モデルは，𝑛-gram言語モデルを組み合わせてもむしろ性能が悪化する傾向が強いと言える．5結論実験から，一般的に𝑛-gram言語モデルを用いたビーム探索デコーディングは，低資源言語の音声認識においても有効であることが示された．しかしながら，一部の低資源言語ではむしろ精度が大幅に悪化した．検証の結果，これらは形態論的に複雑な複統合性や膠着性を示す言語であり，CTC音声認識における𝑛-gram言語モデルの無効性は形態論的複雑性や語の分布のスパース性と有意に関連していることが示された．org/licenses/by/4.0/).