En el siglo XI, tras el hundimiento y la separación del Califato de Córdoba en múltiples reinos de taifas, el castillo atraviesa períodos difíciles.