Під час шведського потопу, у жовтні 1655 року частина шведських сил, які йшли на Ченстохову, напала на замок, після короткої облоги здобула його та зруйнувала. Після війни замок був непридатною для життя руїною, а зважаючи на розвиток артилерії замки старого типу втратили своє оборонне значення. У той час у замку здійснював роботи королівський фортифікатор Кшиштоф Мерошевський, але їхній ефект був незначним, до того ж врешті-решт від відбудови замку відмовилися через значні кошти, які були для цього необхідні. Під час будівництва парафіяльного костелу у 1722—1726 роках значні фрагменти нижніх частин замку було розібрано. Ольштинське староство існувало до кінця XVIII століття.