De sus hijos, Southall Shelton, cuyo nombre proviene del segundo nombre de su abuela paterna, contrajo matrimonio a los 21 años de edad con una joven de 17 años llamada Paige Fitzhugh, el 20 de junio de 1860.