Con el posterior crecimiento de la ciudad, ésta traspasa con creces los muros del castillo por lo que pasa a tomar la denominación de Castillo de Alcalá de los Gazules.