Smith og brødrene hjalp faren bra med å drive gården, og Joseph tok småjobber rundt omkring . Han giftet seg også med Emma Hale. Smith hadde lært nok i skolen til å kunne lese og skrive, og litt regning, men sørget selv for all senere lærdom.