Han vokste opp i Provo i Utah som sønn av mormonerpionéren Abraham O. Smoot, som praktiserte flerkoneri, og dennes femte hustru Anne Kirstine Mauritzdatter, som kom fra Onsøy i Østfold. 19 år gammel ble hun omvendt til den mormonske tro, og i 1855 utvandret hun til Amerika sammen med en eldre bror for å unnslippe religiøs forfølgelse.