AI-KD의 성능 향상 메커니즘을 더 깊이 이해하기 위해 우리는 몇 가지 중요한 측면을 고려해야 합니다. 먼저, AI-KD는 adversarial learning과 implicit regularization을 결합하여 학습을 진행합니다. 이는 pre-trained model과 student model 간의 분포를 조정하여 학습을 진행하고, 이를 통해 모델의 일반화 성능을 향상시킵니다. 또한, AI-KD는 deterministic과 progressive knowledge를 pre-trained model과 이전 epoch의 student model로부터 암묵적으로 증류하여 학습합니다. 이러한 접근 방식은 모델이 더 효과적으로 일반화되도록 돕습니다. 또한, discriminator를 활용하여 학습하는 과정에서 EM distance를 이용하여 gradient delivery를 향상시키고, 학습의 안정성을 높이는 것도 AI-KD의 성능 향상에 기여합니다.