Después de la desamortización de Mendizábal en el siglo XIX fue abandonado hasta que lo adquirió la casa de Alba en 1872.