El II duque de Alba de Tormes, Fadrique Álvarez de Toledo y Enríquez -a quien en rey Carlos I de España le concedió la Grandeza de España en 1520- y el III, Fernando Álvarez de Toledo, conocido como el "Gran Duque de Alba", fueron los que tuvieron mayor notoriedad histórica.