Roberts ble født på en plantasje i Norfolk, Virginia, som den nest eldste av sju søsken. Foreldrene var en plantasjeeier av walisisk opphav, og hans konkubine, mulatten Amelia, som var slave ved plantasjen. Sammen med sine barn fikk hun friheten i ung alder,, og reiste da fra plantasjen og giftet seg med afroamerikaneren James Roberts. Roberts skal ha oppdratt Amelias barn som sine egne, og de fikk også hans etternavn. Alle Amelias barn har imidlertid også mellomnavnet Jenkins, noe som tyder på at det kan ha vært navnet til den biologiske faren. James Roberts drev sin egen lille virksomhet med å frakte varer på James River, og det skal ha gitt en betydelig inntekt slik at familien levde rimelig bra etter tidens forhold.