La segunda parte del nombre, “de las Altas Torres” alude al casi cerca del centenar de torreones que flanqueaban la cerca amurallada, gran parte de los cuales aún se conservan.