Da de etter borgerkrigen blei kjent med at broren Henry, som var død i 1852, hadde to barn med ei farga kvinne, sørga de for at disse fikk høyere utdannelse, den ene som jurist, den andre som prest. Begge blei framtredende borgerrettsaktivister.