Ellen Craft ble født i 1826 i Clinton, Georgia. Hun var datter av Maria, en mulattslave, og hennes velstående plantasjeeier, major James Smith som hadde europeiske aner. Ellen var veldig lys i huden og lignet dermed de øvrige av farens hvite barn som var hennes halv-søsken. Smiths kone ga den 11-år gamle slaven Ellen som bryllupsgave til sin datter Eliza Cromwell Smith både for å få jenta ut av huset og for å fjerne et bevis på sin manns utroskap.