Pierwsza połowa XVII w. była okresem wielkiego rozkwitu miasta i prosperity mieszkańców. Następny okres, do początku XVIII w. okazał się czasem jego największego upadku. W 1625–1654 Szydłowiec był nękany przez epidemie, spowodowane powstaniami kozackimi i prowadzonymi przez Rzeczpospolitą wojnami ze Szwecją. Zwłaszcza III wojna północna spowodowała katastrofalne wyludnienie miasta () i ruinę majątkową mieszkańców. Wiele placów i domostw stało pustką, większość domów zostało uszkodzonych, zrujnowanych i spustoszonych. Likwidacji uległa szkoła parafialna. Opuszczone posesje były przejmowane przez dwór, któremu zależało na zwiększeniu dochodów i znalezieniu nowych właścicieli.