Los éxitos militares del Gran Duque de Alba que lo acompañaron durante toda su vida como general de los reyes Carlos I y Felipe II no empañaron los trabajos que Fernando le dispensó al castillo ducal de la Casa de Álvarez de Toledo, ubicado en Alba de Tormes y conocido como el Castillo de los Duques de Alba.