Smith se casó con Elizabeth Quincy en 1742, y juntos tuvieron cuatro hijos: una hija nacida en 1743, Abigail nacida en 1744 y otra nacida en 1745.