El primer hijo de Fernando Álvarez de Toledo fue Fernando de Toledo (1527-1591), fruto de una relación con una molinera de la cercana localidad de La Aldehuela.