Robert var gift med pianisten Amalie Christie fra 1944 til 1947 (og dermed svoger av Werner Christie og Johan Koren Christie), med filantropen Borghild Hammerich fra 1949 til 1978 og med Bibbi Lindstrøm fra 1988.