Han vokste opp i Gudbrandsdalen som sønn av Gudbrand Paulsen og Anne Iversdatter, men familien flyttet til Svinnstien på Foldereid i 1846. Det var også mange andre gudbrandsdøler som flyttet til Ytre Namdalen i 1840-årene. De levde i trange kår, og både faren og den ene broren døde tidlig, så da gård og løsøre ble solgt, «var det så vidt dekning for gjeld». Familien flyttet til husmannsplassen Bergsvik. Året etter at de kom til Svinnstien, hogg Gudbrandsen seg i kneet under lauving og fikk varige men, så han kunne ikke bli bonde med den «krokfoten» han fikk. Gudbrandsen livnærte seg først som skredder, men etter juletider var det ofte mindre å gjøre, så han gikk til lærer og klokker Sivert Moe for å lære skriving og regning.