Sobre un cerro natural que defiende el acceso a la villa y controla el paso del vado del río, se levanta el castillo de Alba de Tormes. Ya se menciona su existencia en el siglo XIV. En 1429 Juan II donó la villa a Gutierre de Toledo y a finales del siglo XV se efectúan las reformas más importantes, en tiempos de Fernando Álvarez de Toledo y Pimentel, duque de Alba, interviniendo en las reformas artistas importantes vinculados a los Reyes Católicos. En esta época el alcázar había perdido su función militar y se había convertido en un verdadero palacio renacentista. El palacio estuvo habitado hasta el siglo XVIII, momento en que el duque Francisco de Silva y Álvarez de Toledo construye otro en Piedrahita, abandonando el de Alba de Tormes. La decadencia se agudiza tras el incendio de la Guerra de la Independencia, conservando actualmente solo el Torreón del Homenaje.
Para hacernos idea del aspecto que presentaba el castillo, tenemos que recurrir a la arqueología, a las descripciones de Antonio Ponz o a los grabados de Villamil y Gustavo Doré. En la I fase de las excavaciones aparecieron recipientes pertenecientes a la última fase de ocupación del edificio (principios del S. XIX) y azulejos de finales del S.XV o principios del S.XVI. Se han inventariado más de 100 modelos de azulejos: de cuerda seca, desarrollando lacerías mudéjares, desarrollando motivos renacentistas. De arista, pintados. Losetas de alicatado: del S.XV o principios del S.XVI. Decoración arquitectónica: elementos del S.XV o principios del S.XVI que formaron parte de la decoración del Castillo. Decoración escultórica: busto del III Duque de Alba .Pintura al fresco: S.XVI con motivos renacentistas. Armamento y útiles militares, Monedas: 54. Orfebrería y útiles domésticos.
En la II fase de excavaciones: Recipientes S.XIX. Azulejos: finales S.XV o principios del S.XVI: de cuerda seca desarrollando lacerías mudéjares. De cuerda seca desarrollando motivos renacentistas. De arista, modelos renacentistas. Pintados. Losetas de alicatado: S.XV o principios dell S. XVI- Decoración arquitectónica. Decoración escultórica. Material arquitectónico no decorativo. Monedas: 73. Orfebrería: anillos, alfileres, collares, pendientes, hebillas etc. Útiles domésticos: goznes, bisagras, clavos, tijeras, cascabeles, dedales, herraduras, jaeces. etc. Armamento y útiles militares. Pintura al fresco.
Lo único que subsiste es el torreón de la armería que conserva las pinturas murales realizadas por Cristóbal Passin entre 1567 y 1571, y las réplicas en bronce de los bustos de Carlos V y Felipe II (de León Leoni) y el del Gran Duque.
Se conservan restos del jardín, mencionado en 1579 como vergel, no muy alejado del castillo, donde existía un pabellón de recreo con restos de pinturas de la segunda mitad del XVIII y los escudos de armas de los propietarios.
Autor: Espeso León, B. Bibliografía: BECEIRO, i, y CORODBA, R. (1990); "Parentesco, poder y mentalidad. La nobleza castellana", siglos XII-XV. Madrid.; AZCARATE y RISTORI, J.M. (1971); "Sentido y significación de la arquitectura Hispano-flamenca en la corte de Isabel la Católica". Boletín del Seminario de Estudios de Arte y Arqueología de Valladolid, XXXVII.; ARROYO-BISHOP, (1988); "Los archivos arqueológicos, realidades, perspectivas y evolución". Boletín de Arqueología Medieval, 2, pp.49-73