Fue en el año 1083 cuando el rey Alfonso VI, se hace con el castillo como dote en su matrimonio con la Reina Zaida, aunque vuelve a perderlo, pasando de unas manos a otras en los años siguientes.