ている．また我々も先行研究において,Bidirectional音声要約や音声翻訳などの音声言語処理（SpokenEncoderRepresentationsfromTransformers（BERT）[6]languageprocessing：SLP）の多くは,音声認識の分散表現に基づいた音声認識仮説の統合に関する（Automaticspeechrecognition：ASR）モデルとテ手法[7]を提案し,複数の認識仮説が音声要約においキスト翻訳・要約などの自然言語処理（Naturalて,音声認識誤りに対する頑健性を向上させることlanguageprocessing：NLP）モデルの直列接続で実を確認した．現されている．このような直接接続のシステム構成しかし,これらの先行研究では,単一のASRモデでは,音声認識誤りがNLPモデルの性能に悪影響をルを使い複数仮説を生成しているため,認識仮説与えることが知られている．本研究では,音声認識のバリエーションが乏しい．これは,N-bestデコー誤りの悪影響を低減させるため,複数のASRモデルディングが多様な結果を出力しないことに起因すの出力を統合しながら,翻訳・要約を行う方法を提る．さらに,[3–5]では,ASRモデルから補助情報を案する．提案手法は要約・翻訳にとどまらず,様々抽出して,NLPモデルで再学習するため,ASRモデな直列接続のSLPシステムに適用可能である．本研ルとNLPモデルで同じ単語辞書を使用しなければ究では,まず音声要約と音声翻訳の評価実験を通しならないという制約がある．これは,従来の直列接て提案手法の有効性を確認した．続のメリットであった,ASRとNLPモデルの独立性を損なうもので,ASRモデルまたNLPモデル,もし

くは両方の性能を低下させる．そのため,最もよい音声要約や音声翻訳など,多くの音声言語処性能のASRモデルと言語処理モデルを利用した直理（Spokenlanguageprocessing：SLP）は,音声認識列接続でシステムを構成できず,SLPモデルの再学（Automaticspeechrecognition：ASR）モデルと自習を行う際に,初期状態が最適なものではないとい然言語処理モデル（Naturallanguageprocessing：NLP）う問題がある．の直列接続で実現されている．このような直列接続次に,音声認識誤りの影響を低減させる方法としのシステムの学習には,音声と出力テキストの大規て,音声認識精度を改善し認識誤りそのものを減ら模なペアデータを必要とせず,個々のASRモデルとす方法がある．先行研究では,複数のASRシステムNLPモデルに最先端のモデルを採用することができを統合することで音声認識精度を改善できることがる．一方,2つの異なるモデルの学習と推論が独立報告されている[8–11]．これらシステム統合法では,して行われるため,音声認識誤りが後段のNLPモデ異なるASRモデルから出力された仮説を比較するルの推論に悪影響を与え,SLPシステム全体の精度ことで,認識誤りの位置を推定し修正することが出が低下する．来る．本研究では,それらシステム統合法の中で,最このような認識誤り伝搬の問題に対し,先行研もよく使われるRecognizeroutput投票errorreduction究では認識誤りに対して頑健になるような拡張を(ROVER)[10]に着目する．ROVERはASRの後処理NLPモデルに行い,再学習することで認識誤り伝搬として広く利用され,アラインメントと投票の2の影響を低減した[1–5]．これらの先行研究では,1段階の処理を通して認識仮説を統合する[12–16]．つのASRから複数の認識仮説を出力させ,ASR結ROVERでは,音声認識結果を単語単位で比較・修正果の信頼度などの補助情報を抽出し,信頼度を基するため,ASRモデルとNLPモデルに対して特別な―2317―.拡張を必要とせず,直列接続の独立性を損なわない．しかし,ROVERにもいくつかの問題がある．まず,アラインメントの処理は,単語単位の動的計画法で行われるため単語同士の類似性や文脈情報を考慮できない．次に,投票の処理では,各システムの認識結果を平等に扱うため,多くの認識器が間違えた中,1つの認識器が正解を出力するような場合は,正しく修正できない．さらに直列接続のSLPシステムでは,入力音声を一字一句正しく認識した結果が必ずしも良い出力につながらないという問題ある[17]．具体的には,ASRモデルはフィラーや言い間違い,言いよどみなども正しく認識しようとする．しかし,これらは翻訳や要約には不要で,NLPモデルの精度を下げる一因となる．そのためSLPシステムでは,最終的な要約・翻訳精度を最大化するような認識結果を用いる必要があるが,ROVERは学習可能な重みを持たないため,特定のタスクに対して最適化することができない．本研究では,ROVERに代わる方法として,複数のASRモデルの出力結果をNLPモデル内部で統合する方法を提案する．提案手法では,注意機構を用いて,複数のASRモデルの出力結果をアラインメントし統合する処理をNLPモデルの分散表現に基づいて行う．注意機構は学習可能な重みをもち,特定のタスクに最適なシステム統合を学習することが出来る．提案法は,直近の我々の研究[7]から派生し,階層的注意機構[18,19]やマルチストリームコンビネーションの研究[20],マルチモーダル処理の研究[21]とも関連する．提案手法では,複数のASRモデルの出力結果をマルチストリームとみなし,注意機構を用いて統合する．本研究では,音声翻訳と音声要約において提案手法をROVERなどの先行研究[3,4,10,22]と比較した．翻訳と要約では解く問題や,扱うコンテキスト情報の長さが異なる．例えば,翻訳では,多言語間の複雑な単語の対応関係を学習する必要があるが,一発話単位で翻訳が行われるため,複数文にまたがる依存関係を考慮しない．一方,要約は同一言語間で変換を行うため,単語の対応関係の学習は容易であるが,文章全体の要点を見つけるために,複数文にまたがる依存関係を学習する必要がある．異なる2つのタスクに対して,本実験では両タスクに共通のConformerASRモデル[23]を,翻訳タスクにはTransformerモデル[24]を,要約タスクにはBERTSumモデル[25]をそれぞれ採用してSLPシス内において,注意機構を用いた仮説統合モジュールをAttentionFusionと表記する．テムを構築した．提案手法は,このような異なるタスクとモデル構造のSLPシステムに対して,最適なシステム統合を行い,両タスクにおいて性能を改善することができた．