La primera reconstrucción importante data de la época de Alfonso I, siendo la primera referencia escrita el legado de Fernando II a la orden de los Caballeros de Santiago en 1185, propiedad que se mantuvo hasta el año 1565.