Etter at Eliza Smith giftet seg med dr. Robert Collins tok hun Ellen med seg for å bo i byen Macon hvor de etablerte sitt hjem. Ellen vokste opp som tjener i huset til Eliza som underviste om området. William ble født i Macon hvor han møtte sin fremtidige kone i en alder av 16 år da hans første herre solgte ham for å betale spillegjeld. Før han ble solgt, opplevde William at hans 14 år gamle søster og begge foreldrene kom på hver sin kant etter salg til forskjellige eiere. Williams nye herre sendte ham som lærling til en snekker, hvor alt han tjente gikk som oppgjør til hans tidligere herre.