Wilma Rudolph ble født i byen Clarksville i Tennessee som tredje yngst av 22 barn. I ung alder ble det oppdaget at hun hadde poliomyelitt. Tolv år gammel lærte hun å gå, og bestemte seg for å bli friidrettsutøver. Hun spilte for skolelaget i basketball da hun ble oppdaget av skolens friidrettstrener.