Han var født i Bergsveet i Åsen, men vokste opp hos slektninger på Holan på Skatval. I 1838 fikk han skjøte på Berg nordre (senere kalt Berg vestre), halvparten av moras heimgård Berg i Åsen. Peder Ellevsen var eier og bruker av gården til sin død. Han var gift med Kirsten Johansdatter Auran (1809–1900) fra Skatval, og hadde fire barn. I åra 1840–1843 var han ordfører i Åsen.