Pierwszy poważny kryzys pojawił się wraz z potopem szwedzkim. W wyniku grabieży i pożarów wznieconych przez nieprzyjaciela liczba domostw spadła do 100. Wielki pożar z 1697 r. zniszczył większość tego, co pozostało z najazdu Szwedów. W 1756 r. na 129 domostw 78 stało pustych. Dopiero pod koniec XVIII w. liczba domów osiągnęła liczbę 155. Było ich zatem więcej niż w Olkuszu, Skale czy Wolbromiu, ale mniej niż w pobliskiej Pilicy, co wskazuje, że Żarnowiec był jeszcze dosyć dużym miastem. Wzrost liczby ludności wiąże się jednak z napływem Żydów, którzy w II połowie XIX w. przewyższyli już ludność polską. W mieście powstała żydowska synagoga, cmentarz oraz 3 szkoły wyznaniowe tzw. chedery (w 1906 r. było ich już 6). W 1775 r. miał miejsce pożar zamku, który częściowo został rozebrany. W 1794 r. w pobliskiej Woli Libertowskiej na kwaterze stanął król pruski Fryderyk Wilhelm II, skąd ruszyć miał w stronę Szczekocin, gdzie 6 czerwca (po połączeniu z wojskami rosyjskimi gen. Adriana Denisowa) pokonał oddziały Tadeusza Kościuszki. W latach 1795-1809 Żarnowiec wchodził w skład zaboru austriackiego. Dnia 26 XII 1812 r. zmarł w Żarnowcu, wracający z Warszawy, Minister Pełnomocny Stanów Zjednoczonych Ameryki przy Cesarzu Francuzów i Królu Włoskim – Joel Barlow – poeta, filozof, polityk i dyplomata. Pochowany został na cmentarzu przykościelnym.