Olaf C. Ditlev-Simonsen var sønn av Olaf Ditlev-Simonsen (1865–1960). Han giftet seg i 1920 med Else Heyerdahl, (16. november 1899 – 28. januar 1985), datter av høyesterettsadvokat Hieronymus Heyerdahl (1867–1959).