Peder var sønn av husmannen Ole Hansen og dennes hustru Berthe Rolfsdatter. Peder vokste opp på Kleven i nærheten av Billingstad, under dysfunksjonelle familieforhold. Den 5. juni 1844 giftet han seg med Anne Larsdatter Jammerdal, og et år senere fikk de en sønn Olaus. Ekteparet levde stort sett fra hverandre, grunnet deres fattigdom som gjorde at han måtte arbeide som tjener på Ringen mens hun arbeidet på Tanum. Senere flyttet ekteparet sammen på Haugsvollen. Peder arbeidet fremdeles som tjener på Ringen gård, og etablerte i den forbindelse en liaison med den derværende Birgit Asledatter fra Hallingdal.