LLaMA-Adapterのゼロ初期化アテンションメカニズムは、以下のように機能します。
アテンションの初期化: ゼロ初期化アテンションでは、アダプションプロンプトが最初はゼロで初期化され、トレーニングの初期段階ではその影響を排除します。これにより、ランダムに初期化されたプロンプトがトレーニングの初期にノイズを引き起こすことを防ぎます。
ゲーティングファクターの導入: ゼロ初期化されたゲーティングファクターは、アテンション計算においてプロンプトと単語トークン間の相互作用を制御します。トレーニングが進むにつれて、このゲーティングファクターは徐々に学習され、プロンプトの重要性を高めることができます。
安定した学習プロセス: ゼロ初期化アテンションは、元のLLaMAの知識を保持しつつ、新しい指示信号を段階的に注入することを可能にします。これにより、トレーニングの安定性が向上し、最終的なモデルの性能が向上します。
この手法は、トレーニングの初期段階での不安定性を軽減し、最終的な生成能力を高めるため、LLaMA-Adapterの効果的な学習を支えています。