Schjelderup var sønn av Peter Vilhelm Schjelderup og Dorothea Marie Lysholm. Han giftet seg med Henriette Nicoline Hassel. De fikk seks barn, blant dem den senere biskop i Hamar Kristian Schjelderup og psykologipioneren Harald Schjelderup.