語音声と目的言語テキストのペアデータを学習に本論文では,音声翻訳システムにおいて,音声基必要とする[6,7].第3の音声翻訳システムとして盤モデルであるWhisperの分散表現を言語基盤モHybridシステムがある.Hybridシステムは,CascadeデルであるLLaMA2の分散表現と結合するReShapeとE2Eの両方の長所を得ることを目的とし,音声とAttention(RSA)を提案する.RSAは,LLaMA2の書き起こしの両方を入力として翻訳を行う.先行Transformer層の内部に挿入され,音声とテキストの研究では,音声基盤モデルと言語基盤モデルを結合分散表現を,同じ特徴次元のサブベクトルに変形するCross-Attention型の接続アダプターが提案されし,2つの分散表現間でCross-Attentionを実行する.た[8].この接続アダプターは,学習可能なパラメRSAにより,LLaMA2とWhisperの勾配グラフは接ターを持ち,基盤モデルの各層に挿入される.そのた続され,音声翻訳システム全体を入力音声に対してめ,基盤モデルが多くの層数を持つ場合,接続アダプ最適化できる.RSAは,WhisperとLLaMA2を用いたターのパラメータ数も膨大となる.そして,多くのパCascade音声翻訳システムと比較して,BLEUスコアラメータを基盤モデルに挿入することとなり,破滅を相対的に8.5%向上させた.さらに,RSAは正解の的忘却の発生や学習を難しくする可能性がある.書き起こしが得られる場合においてCascadeシステ本研究では,Hybridシステムに焦点を当て,先行研ムよりも音声翻訳精度を向上させる可能性があるこ究の問題を解決するためにReShapeAttention（RSA）とが示された.を提案する.RSAは異なる次元数の分散表現を写像を行うことなく統合する.初めに,RSAでは音声基

盤モデルと言語基盤モデルの分散表現を同じ次元数基盤モデルは,大規模なデータで学習された巨大のSub-vectorへ分解する.そして,Sub-vectorレベルなモデルで,プロンプトに基づいて,さまざまな異なでCross-Attentionを計算し,２つの分散表現を統合るタスクを高い精度で実行できる[1,2,3].また,音する.この時,RSAは写像を行わないため学習可能声翻訳のような専門的な下流タスクシステムを開発なパラメータを持たない.ゆえに,基盤モデルの層数するための事前学習モデルとして利用することもが増加しても,学習可能なパラメータ量を増やすこできる.音声基盤モデルWhisperと言語基盤モデルとなく基盤モデルを結合可能である.LLaMA2を連結することで,音声認識と機械翻訳の本研究では,RSAの有効性を音声翻訳タスクで検Cascade型音声翻訳システムを構築できる.しかし,証した.音声基盤モデルにはDistil-Whisper[9]を,言Cascadeシステムでは,Whisperによる音声認識誤り語基盤モデルにはLLaMA2-7B[10]を利用した.音声の影響を受ける.加えて,LLaMA2は韻律や抑揚,話翻訳のデータセットはMuST-C[11]を用いた.RSA者の性別など,音声から得られる非言語情報を利用はCascadeシステムや,先行研究の接続アダプターすることができない.このような非言語情報は,性を持ちいたE2E,Hybridシステムよりも少ないパラ差のある言語の翻訳やセグメントを学習するのにメータにも拘わらず,BLEUスコアを相対的に8.5%役立つことが知られている[4,5].一方で,End-to-end向上させた.さらに,CascadeシステムとHybridシス(E2E)システムは入力音声を直接翻訳する.そのたテムにおいて仮に正しい音声書き起こしが得られため,音声認識誤りに頑健で,非言語情報も学習するこ場合の性能を比較した.分析の結果,接続アダプター―2031―.が音声認識誤りの軽減のみならず,非言語情報の学習にも有効であることを確認できた.