Al sucumbir el Califato de Córdoba a principios del siglo XI, el castillo fue punto neurálgico en las luchas mantenidas entre los Edrisitas, es decir, la dinastía que gobernaba Málaga y los Hammuditas o Hammudíes, que reinaban en Algeciras, ambos pertenecientes a la misma familia.