Benjamin Smith var gift med Mary Wragg, datter av den største slavehandleren i Nord-Amerika, Joseph Wragg. De var foreldre til Judith Smith (1766–1820), gift med politikeren James Ladson, som var viseguvernør i South Carolina. Han var også svoger til Peter Manigault, Nord-Amerikas rikeste mann på 1770-tallet.