Fue el tercero de diez hijos (dos de los cuales nacieron muertos) del matrimonio formado por Peter Jefferson y Jane Randolph, dueños de una plantación que llevaba el nombre de la ciudad.