Rolfsen var første gang 1928-1942 gift med sanger og skuespiller Arvid Richter (1901–1963) og andre gang 1952–1961 med den spanske forretningsmannen Ramon Rodriguez Arias (1924–2006). Hun hadde en sønn, Sven (født 1929) og en datter Sonja (født 1934).