ReShapeAttentionによる音声と言語の基盤モデルの統合

語音声と目的言語テキストのペアデータを学習に本論文では,音声翻訳システムにおいて,音声基必要とする[6,7].第3の音声翻訳システムとして盤モデルであるWhisperの分散表現を言語基盤モHybridシステムがある.Hybridシステムは,CascadeデルであるLLaMA2の分散表現と結合するReShapeとE2Eの両方の長所を得ることを目的とし,音声とAttention(RSA)を提案する.RSAは,LLaMA2の書き起こしの両方を入力として翻訳を行う.先行Transformer層の内部に挿入され,音声とテキストの研究では,音声基盤モデルと言語基盤モデルを結合分散表現を,同じ特徴次元のサブベクトルに変形するCross-Attention型の接続アダプターが提案されし,2つの分散表現間でCross-Attentionを実行する.た[8].この接続アダプターは,学習可能なパラメRSAにより,LLaMA2とWhisperの勾配グラフは接ターを持ち,基盤モデルの各層に挿入される.そのた続され,音声翻訳システム全体を入力音声に対してめ,基盤モデルが多くの層数を持つ場合,接続アダプ最適化できる.RSAは,WhisperとLLaMA2を用いたターのパラメータ数も膨大となる.そして,多くのパCascade音声翻訳システムと比較して,BLEUスコアラメータを基盤モデルに挿入することとなり,破滅を相対的に8.5%向上させた.さらに,RSAは正解の的忘却の発生や学習を難しくする可能性がある.書き起こしが得られる場合においてCascadeシステ本研究では,Hybridシステムに焦点を当て,先行研ムよりも音声翻訳精度を向上させる可能性があるこ究の問題を解決するためにReShapeAttention（RSA）とが示された.を提案する.RSAは異なる次元数の分散表現を写像を行うことなく統合する.初めに,RSAでは音声基