Руйнування, завдані під час Шведського потопу, пожежі та наслідки економічної кризи у XVII столітті, зумовили поступовий занепад замку. У 1768 році спалахнула чергова пожежа, зумовлена походом Барських конфедератів та їхньою необережністю, яка знищила замок.