FPT 외에 의료 영상 분류를 위한 매개변수 및 메모리 효율적인 미세 조정 기법으로는 Linear Probing, Prompt Tuning, Attention Tuning, Adapter, BitFit, LoRA 등이 있습니다. 각각의 방법은 전체 사전 훈련된 모델의 매개변수를 효율적으로 조정하여 새로운 작업에 적합하게 만드는 데 중점을 둡니다.
Linear Probing은 사전 훈련된 모델 위에 새로운 작업에 특화된 헤드만 학습하는 방법으로, 매우 적은 계산 비용이 듭니다. Prompt Tuning은 작은 수의 학습 가능한 매개변수를 사용하여 사전 훈련된 지식을 새로운 작업에 적응시키는 방법입니다. Attention Tuning은 주의 메커니즘을 사용하여 효율적으로 매개변수를 조정합니다. Adapter는 추가 매개변수를 도입하여 새로운 작업에 적응시키는 방법입니다. BitFit는 간단한 매개변수 효율적인 미세 조정을 위한 방법으로, 적은 계산 비용이 듭니다. LoRA는 대규모 언어 모델에 대한 저차원 적응을 수행하는 방법입니다.
각 방법은 매개변수 및 메모리 사용량을 효율적으로 관리하면서도 새로운 작업에 대한 성능을 향상시키는 장점을 가지고 있습니다.