Oluf var gift to ganger: 4. februar 1948 i København med Dorrit Puggaard-Müller (1926–2013). Fordi hun var født borgerlig mistet Oluf sin posisjon i arvefølgen, og ble i stedet greve av Rosenborg. De fikk to barn, men ekteskapet ble oppløst i 1977. 17. september 1982 i Lyngby med Lis Wolf-Jürgensen (f. 1930); også dette ekteskap ble oppløst.