Faren var død fire måneder før sønnens fødsel, etter bare et halvt års ekteskap. Moren flyttet derfor til sin far, fogd Anders Tostrup, på gården Østhassel på Lista, hvor gutten vokste opp omgitt av sin mor, sin morfar, sin grandonkel og sin grandtante. Det fantes ingen andre barn av samme stand i nærheten, og med bøndenes barn hadde han ikke lov å omgås. Han leste det han kom over, særlig teologisk litteratur. I 9-årsalderen fikk han en egen huslærer som lærte ham latin, gresk og hebraisk. I 1780 fikk han en stefar, da moren giftet seg på ny med offiseren Jacob Ulrik Hoelfeldt, som etter hvert avanserte til generalmajor.