Raciąż zaczął upadać w połowie XVII wieku. Za początek upadku możemy uznać najazd szwedzki w 1655 roku. Właśnie wtedy zburzony został drewniany zamek raciąski, powstały prawdopodobnie w XVI wieku oraz zdewastowany został kościół. Miasto opuściła większa część jego mieszkańców, czemu przyczyniła się też epidemia, która wybuchła w 1661 roku. Następne lata nie były lepsze. Mieszkańcy miasta pozostawieni sami sobie nie potrafili odbudować struktur miejskich, nie uiszczali podatków i nie uprawiali roli. Wielu za to przenosiło się do okolicznych osad wiejskich, rozwinęło się osadnictwo puszczańskie.