W czasie Potopu szwedzkiego, w 1656 roku, zamek w Czersku doznał bardzo poważnego uszczerbku. Wojska szwedzkie po doznaniu klęski od Stefana Czarnieckiego pod Warką, wycofując się, opanowały zamek i poważnie go zdewastowały.