Una de las dos torres que coronan el edificio está construida sobre los restos de la antigua fortaleza o torre de Fernán Núñez, que este capitán conquistó a los árabes.