I 1828 giftet Roberts seg med en 18-årig kvinne med navnet Sarah, og de fikk et barn sammen. I mars 1829 emigrerte de til Liberia i regi av American Colonization Society, men i løpet av det første året der døde både Sarah og barnet.