Han var sønn av sagmester Svend Olsen (f. 1751) og Karen Madsdatter (f. 1750), og var født på Engelsrud under Brekke i Maridalen. Som ung fikk han undervisning av residerende kapellan ved Vor Frelsers Kirke i Christiania, Jens Skanke Garman, og var deretter omgangsskolelærer i Aker fra 1818 til 1820. I 1820 ble han ansatt som lærer ved Fjerdingen almueskole i Christiania. Året etter ble han forflyttet til Vaterland almueskole.