CondLoRAは訓練可能パラメータ数を削減しながらも競合力あるパフォーマンスを発揮できる理由は、以下の要因によるものです。
CondLoRAでは、各層ごとに低ランク行列を導出するために単一の線形層を使用しており、このアプローチによって学習可能なパラメータ数が従来の手法よりも少なく抑えられています。その結果、モデル全体で必要とされるトレーニング可能なパラメータ数が大幅に削減されます。同時に、この方法論は効率的かつ効果的なPLM fine-tuningを実現しました。
さらに、CondLoRAは適切なハイパーパラメータ調整や最適化手法の選択によって十分な性能向上を実現しています。これにより、トレーニング中の計算速度や収束性能が向上し、競合力ある結果が得られていると考えられます。