Los augustinos pudieron acondicionar algunas celdas después pero tras diversos avatares, la Desamortización de Mendizabal en el año 1835 decretó la expulsión del único religioso que habitaba el inmueble.