Joseph Wraggs datter Elizabeth var gift med Peter Manigault, Nord-Amerikas rikeste mann på slutten av 1700-tallet. En annen datter, Mary, var gift med bankieren og slavehandleren Benjamin Smith. Deres datter Judith Smith var gift med viseguvernør James Ladson, og blant deres etterkommere er Ursula von der Leyen. Joseph Wragg hadde en rekke etterkommere som var ledende i Charlestons handelselite i århundrene som fulgte.