Sus sucesivos propietarios y los vecinos de San Asensio, entre malos usos y rapiñas, provocaron la acelerada ruina del cenobio.