Para defender la ciudad de los ataques de los piratas del mar sarraceno el duque Carlo había construido, y después de obtener el permiso de Felipe IV de España, una torre dedicada a San Carlos.