ReShapeAttentionによる音声と言語の基盤モデルの統合

盤モデルと言語基盤モデルの分散表現を同じ次元数基盤モデルは,大規模なデータで学習された巨大のSub-vectorへ分解する.そして,Sub-vectorレベルなモデルで,プロンプトに基づいて,さまざまな異なでCross-Attentionを計算し,２つの分散表現を統合るタスクを高い精度で実行できる[1,2,3].また,音する.この時,RSAは写像を行わないため学習可能声翻訳のような専門的な下流タスクシステムを開発なパラメータを持たない.ゆえに,基盤モデルの層数するための事前学習モデルとして利用することもが増加しても,学習可能なパラメータ量を増やすこできる.音声基盤モデルWhisperと言語基盤モデルとなく基盤モデルを結合可能である.LLaMA2を連結することで,音声認識と機械翻訳の本研究では,RSAの有効性を音声翻訳タスクで検Cascade型音声翻訳システムを構築できる.しかし,証した.音声基盤モデルにはDistil-Whisper[9]を,言Cascadeシステムでは,Whisperによる音声認識誤り語基盤モデルにはLLaMA2-7B[10]を利用した.音声の影響を受ける.加えて,LLaMA2は韻律や抑揚,話翻訳のデータセットはMuST-C[11]を用いた.RSA者の性別など,音声から得られる非言語情報を利用はCascadeシステムや,先行研究の接続アダプターすることができない.このような非言語情報は,性を持ちいたE2E,Hybridシステムよりも少ないパラ差のある言語の翻訳やセグメントを学習するのにメータにも拘わらず,BLEUスコアを相対的に8.5%役立つことが知られている[4,5].一方で,End-to-end向上させた.さらに,CascadeシステムとHybridシス(E2E)システムは入力音声を直接翻訳する.そのたテムにおいて仮に正しい音声書き起こしが得られため,音声認識誤りに頑健で,非言語情報も学習するこ場合の性能を比較した.分析の結果,接続アダプター―2031―.が音声認識誤りの軽減のみならず,非言語情報の学習にも有効であることを確認できた.