Som ung gutt begynte Joseph å arbeide sammen med stefaren med å frakte varer på en pram fra industribyen Petersburg til Norfolk på James River, men han lærte også å lese og skrive, noe som ikke var en selvfølge. Kanskje ble han undervist av menn som Joseph Shiphard som på den tiden organiserte gratis skoletilbud for svarte i området. Etterhvert flyttet familien til Petersburg, og kort tid etter flyttingen døde stefaren James Roberts. Joseph tok over farens virksomhet, og var samtidig lærling ved en frisersalong. Innehaveren av frisersalongen, William Colson, var også prest og en av Virginias høyest utdannede afroamerikanere. Han ga Roberts tilgang til sitt private bibliotek, der Roberts etterhvert stadig ble å finne.