Han var sønn av høyesterettsdommer Ferdinand Schjelderup, og ble gift med Sossen Krohg i 1942. De fikk to barn sammen, før de skilte seg i 1947. I 1948 ble han gift med sangerinnen Anne Brown, og de fikk datteren Vaar Schjelderup (1951). Han ble skilt fra Brown i 1969.