En 1872 también desapareció el castillo —morada de los marqueses de Astorga—, dejando únicamente el rastro del nombre de una calle: calle del Castillo.