Nel 1655, durante l'invasione svedese della Polonia, il castello fu catturato dagli svedesi che lo occuparono fino al 1657, saccheggiando l'intero complesso. I danni alla struttura furono così estesi che dopo il ritiro degli svedesi non fu più restaurato perché ritenuto troppo costoso. Alcune famiglie nobili (i Morsztyn, i Wiśniowiecki e i Pac) vissero nell'ala occidentale, quella meglio preservata, ma il resto della costruzione rimase inagibile.