Hans far var fabrikkeier Annæus Benedictus Parelius og mor var ugift tjenestepike Julie Mathea Skarpsno. I løpet av sine fire første år hadde Fredrik vært på 20 barnehjem, deretter fikk han et mer stabilt fosterhjem. Julie holdt også kontakt med barna og prostituerte seg for å kunne forsørge seg selv og to barn. Fredrik møtte aldri sin far som døde da han var 8 år. Han fikk imidlertid skolegang og klarte seg bra. Ti år gammel var han gårdsbestyrer i Rygge for en gård som tilhørte en venninne av moren.