Joseph Smith giftet seg i januar 1827 med Emma Hale. Sammen fikk de ni barn, hvorav fire døde før eller kort tid etter fødselen (Alvin, født i 1828, tvillingene Thaddeus and Louisa, 30. april 1831, og en dødfødt gutt, ikke navngitt, 26. desember 1842), samt en som døde fjorten måneder gammel (Don Carlos, født 13. juni 1840). Da tvillingene døde, adopterte Joseph og Emma et tvillingpar, Julia og Joseph, hvis mor nylig hadde dødd under tvillingenes fødsel (Joseph døde av meslinger i 1832). Joseph og Emma hadde også fire sønner, som levde til voksen alder: Joseph Smith III (6. november 1832), tvillingene Frederick Granger Williams Smith (29. juni 1836) og Alexander Hale Smith (29. juni 1836), og David Hyrum Smith (17. november 1844, født etter Josephs død). Per 2011 har DNA-tester ikke kunne påvise at Smith hadde barn med andre kvinner enn Emma Smith.