Iłża, podobnie jak wiele innych miejscowości w Polsce, doświadczyła znaczących zniszczeń podczas potopu szwedzkiego (1655-1660). Miasto zostało zajęte przez wojska szwedzkie, co wiązało się z rabunkami, zniszczeniem infrastruktury i budynków oraz cierpieniem ludności cywilnej. Zamek w Iłży, który miał strategiczne znaczenie obronne, również ucierpiał w wyniku działań wojennych, ponieważ był wielokrotnie atakowany i przechodził z rąk do rąk.