Fernando de Toledo fue el hijo bastardo que tuvo Fernando Álvarez de Toledo, III duque de Alba con una molinera del lugar.