Los años posteriores fueron difíciles por la ausencia del arquitecto, de fondos y la supresión de las órdenes religiosas como consecuencia de las leyes napoleónicas, el área fue abandonada y se convirtión en zona militar.