Han vokste opp på slektsgården Østbør (tidligere skrevet Østborg) i Frol. Foreldrene var Olaug (født Bye) og Peter Stavrum. Farfaren var gårdbruker og ordfører Martin Stavrum.