Es posible que la primera reconstrucción del castillo fuera realizada por Almanzor, en el siglo X, época del dominio musulmán de las comarcas cercanas.