Han var far til Joseph Fielding Smith, som senere ble den sjette profeten i Jesu Kristi kirke av siste dagers hellige.