En el 1099, los almorávides conquistaron gran parte de los castillos que defendían la zona toledana y al año siguiente trataron de apoderarse de Toledo, infructuosamente.