En torno al 1054 se perdería la zona de Los Vélez a manos del rey Almutámid de la taifa de Sevilla y el rey, mal organizador y estratega, se vio al final de su reinado recluido en la capital y los territorios aledaños.