Han var sønn av Nils Fredrik Wisløff og Dagny Johanne f. Waalmann. Han vokste opp i Sarpsborg, der faren var statsingeniør.