Smiths liv og lære vakte betydelig motstand. Enkelte aviser omtalte Smith som en svindler så tidlig som 1829, en betraktning som fortsatt deles av mange evangelikalske kristne. Smith ble to ganger fengslet som følge av anklager om forræderi, og han ble offer for en pøbelflokk som stormet fengselet hvor han satt. Etter at Smith ble drept 38 år gammel, mente medlemmer av bevegelsen Smith hadde lidd martyrdøden for å forsegle sitt tros vitnesbyrd. Smith selv hevdet ikke at han var ufeilbarlig; han betraktet seg selv med en uslepen diamant.