В 1790 году Великий сейм ликвидировал Севежское княжество, включив его в состав Речи Посполитой. В том же году епископ Феликс Павел Турский покинул замок, после чего тот начал приходить в упадок. Впрочем, еще во время Наполеоновских войн, замок использовали в военных целях. С 1807 года и на протяжении всего XIX века в замке никто не жил.