본 방법의 한계 중 하나는 적대적 공격이 고정된 조건부 이미지 생성 모델에 대해 다양성을 촉진하는 데 한계가 있을 수 있다는 점입니다. 즉, 모든 유형의 조건에 대해 다양성을 보장하는 것이 어려울 수 있습니다. 또한, 적대적 공격은 모델의 안정성을 저해할 수 있고, 공격이 과도하게 강력할 경우 모델이 부정확하거나 부적절한 결과물을 생성할 수 있습니다. 또한, 공격이 너무 강력할 경우 모델이 원하는 방향으로 제어되지 못할 수 있습니다.