W latach 1621 i 1633 warownia otoczona była przez Turków, lecz oparła się tej nawale. W trakcie powstania Chmielnickiego w 1652 r. zamek został zajęty, ponieważ członek załogi zachęcony obietnicą zdobycia stopnia pułkownika wojska kozackiego, zdradził i otworzył bramę wjazdową i wpuścił najeźdźców. Zdrajca został ścięty a załogę wymordowano. Od lat 50. XVII wieku zamek nie był zamieszkały. "Kresowy zameczek" trochę podźwignął z ruin Józef Potocki, hetman wielki koronny. Jego syn Stanisław, wojewoda poznański sprzedał jednak Paniowce w 1765 r. Pawłowi Starzyńskiemu, generałowi – lejtnantowi wojsk koronnych i odtąd znajduje się w posiadaniu tej rodziny. W czasie konfederacji barskiej w zrujnowanym zameczku, którego część jeszcze w 1780 r. była zamieszkała, przebywali jakiś czas konfederaci i Antoni Pułaski. Po tych wydarzeniach zamek chylił się ku upadkowi zamieniając się w ruinę. Napoleon Orda narysował zamek, będący już w ruinie.