Han vokste opp på slektsgården Fjermstad i Bratsberg sogn i Strinda prestegjeld som sønn av gårdbruker Ole Paulsen Fjermstad og hustru Marit Pedersdatter Qvammen. Han giftet seg i Lade kirke i 1866 med Johanna Tvereggen, datter av gårdbruker Lars Rasmussen Tvereggen (opprinnelig Sommervold) og hustru Marit Asphjell.