Peder Olsen var en dypt troende mann som satte Gud og familien i sentrum av livet. Han giftet seg med Heidi, som delte hans kristne tro og verdier. Sammen fikk de fire barn, deriblant Per Frick Høydal, som selv ble prest. Som far og ektemann var han kjent for sin omsorgsfulle og ydmyke væremåte. Familien levde etter kristne prinsipper som tro, håp og kjærlighet, og hjemmet deres i Lovisenberggata 19 i Oslo var et sted for bønn, samhold og kristne verdier.