Existió un primer núcleo amurallado, posteriormente ampliado, en el que se construyen los edificios más nobles y significativos, como son el castillo de los condes de Benavente —edificación de la que destaca su torre del homenaje, popularmente denominada “Torre del Macho”—, la iglesia de Santa María del Azogue, la barroca y señorial ermita de San Cayetano y la más humilde Casa Consistorial.