Han vokste opp i en stor familie. Selv om de var religiøse, bibellesende jordbrukere, var de i lang tid ikke tilknyttet noe bestemt trossamfunn. Faren skal ikke ha vært særlig aktiv i noe kirkesamfunn, men moren var tidvis med hos presbyterianerne. Joseph Smith den yngre sa at han var tiltrukket av metodistene, men ble aldri medlem.