Thời kỳ thịnh vượng kết thúc trong cuộc xâm lược Ba Lan của Thụy Điển (1655 - 1660), khi Inowłódz bị binh lính Thụy Điển phá hủy. Vào tháng 9 năm 1655, một cuộc giao tranh giữa người Thụy Điển và sư đoàn Stefan Czarniecki của Ba Lan đã diễn ra tại đây. Cùng với thị trấn, những kẻ xâm lược Thụy Điển đã phá hủy lâu đài, sau đó starostas đã phải sống trong một ngôi nhà nhỏ trong thị trấn. Vào thế kỷ 18, Inowłódz trở thành một trung tâm công nghiệp, với các công trình bằng sắt và đào vôi. Sau khi phân vùng Ba Lan, thị trấn thuộc về Quốc hội Ba Lan do Nga kiểm soát (1815 - 1915), và sau cuộc nổi dậy tháng 1, mất điều lệ thị trấn (1870).