Su abuelo paterno, Asael Smith, perdió la mayoría de sus bienes en , Massachusetts, durante la crisis económica de 1780; más tarde se mudó a Vermont, donde su hijo, el padre de Joseph Jr., comenzó a trabajar como granjero (y ocasionalmente como maestro de escuela), logrando prosperar económicamente.