W roku 1655 w czasie potopu uszkodzony i zdewastowany przez wojska szwedzkie. Podczas rokoszu Lubomirskiego został przejściowo zajęty przez buntowników. W początkach XVIII wieku zamek był zniszczony na tyle, że pomimo podejmowanych prób odbudowy w 1691 r. nie nadawał się na rezydencję starostów. Dlatego w 1719 r. wznieśli oni dla siebie dworek w sąsiedztwie ruin zamku. Do połowy XVIII wieku, mimo kolejnych spustoszeń, jakie dotknęły zamek w III wojnie północnej, odbudowano jednak część pomieszczeń, z przeznaczeniem na mieszkania dla czeladzi starosty oraz część zabudowań podzamcza. Po II rozbiorze Polski, zamek wraz z zabudowaniami dworskimi, folwarkiem oraz parkiem zakupił pruski minister i były ambasador w Rzeczypospolitej, Girolamo Lucchesini, a następnie miejscowe rodziny ziemiańskie i patrycjuszowskie z Międzyrzecza. Wnętrza zamku wykorzystywano jako pomieszczenia gospodarcze, a południowe stoki wzgórza jako winnice.