Han giftet seg med Judith Smith, som tilhørte en av Charlestons rikeste bank- og handelsfamilier. Hun var datter av Benjamin Smith, en ledende slavehandler og bankier, og barnebarn av Joseph Wragg, som var den største britisk-amerikanske slavehandleren i sin tid. Ektefellen var niese av Peter Manigault, Nord-Amerikas rikeste mann på slutten av 1700-tallet, en fetter av ektefellen, Benjamin Smith, var guvernør i North Carolina.