У 1790 році Великий сейм ліквідував Севезьке князівство, включивши його до складу Речі Посполитої. У тому ж році замок покинув єпископ Фелікс Павло Турський, після чого той почав занепадати. Втім, ще під час Наполеонівських воєн, замок використовували з мілітарною метою. З 1807 року і впродовж усього XIX століття в замку ніхто не мешкав.