Han var sønn til grev Eric von Rosen (1879–1948) og Mary Fock (1869–1967). Faren var forsker og etnograf. Carl Gustafs tante var Carin Göring, gift med Hermann Göring, hans ene bror var maleren, grafikeren og forfatteren Bjørn von Rosen (1905–1989). Han var først gift med Mille Wijmark, så med Hanny Krijgsman og til slutt med Gunvor Lilian Martin.