La vulnerabilidad del territorio desde el mar, de lo que dan prueba las sucesivas oleadas de invasores desde el norte de África, propició hacia el año 1300 y ya bajo dominio de la dinastía de los nazaríes (siglos XII al XV) la construcción de una torre de defensa situada al final de la Calle San Miguel, conocida ya en las Ordenanzas de 1497 como "Torre de los Molinos", y años más tarde denominada también de Pimentel, en honor de D. Rodrigo Pimentel, Conde de Benavente (Zamora), que ayudó militarmente a los Reyes Católicos con 2000 caballos y 4999 peones en la Campaña de la conquista de Granada y la Toma de Málaga allá por 1487, cinco años antes de que Colón llegara a América.