Faren var skomakeren Jørgen Peterson, morens navn er ikke kjent. Han vokste opp i små kår. Som gutt ble han satt under streng tukt etter farens tidlige død. I 1782 reiste han og flere andre unge menn med et fartøy til Trondheim for å prøve lykken.