Han var sønn av dosent (1898 – 1926) og (f. 1898). I 1955 giftet han seg med italienske ; deres datter Elizabeth Norberg-Schulz (født 27. januar 1959 i Oslo) er operasanger (sopran).