Han vokste opp på Heimdal som sønn av Wanda (født Dybvik) og Erling Ellefsen, som drev egen næringsvirksomhet.