Joseph Smith startet med polygami tidlig i 1830-årene, i forbindelse med at han laget sin egen oversettelse av bibelen. Han funderte på vers som omhandlet Abrahams og Jakobs flerkoneri, og følte at han fikk svar fra Gud om at dette var et bud. Han startet med polygami i det stille, og innvidde etterhvert noen medlemmer i kirken som han stolte på. En av de første som han giftet seg med var en 16 år gammel tjenestejente som jobbet hos Smith familien, ved navn Fanny Alger. Det at hverken Josephs kone, eller flesteparten av medlemmene kjente til dette, samt at fiender av kirken satte ut rykter om dette, gjorde at Smith opplevde stor forfølgelse i sine leveår. En av hans nærmeste medarbeidere (Oliver Cowdery) ble utelukket av kirken i forbindelse med denne saken. En av hovedgrunnene var at Cowdery ikke ville gå tilbake på sin påstand om at Smith hadde hatt en utenomekteskapelig affære. Siden Smith anså dette som et bud han hadde mottatt fra Gud var derfor Cowderys tolkning i strid med Smiths lære.