Hun var gift tre ganger og var derfor på ulike tidspunkter i livet kjent som Harriet Hinsch, Harriet Bog, Harriet Gullvåg og Harriet Holter. 1944–1950 var hun gift med cand.oecon. og senere ambassadør Paal Bog. Fra 1951 til 1956 var hun gift med senere professor i filosofi Ingemund Gullvåg, sønn av Olav Gullvåg. Fra 1957 var hun gift med psykolog Peter Andreas Holter, og beholdt hans navn etter skilsmissen. Etter skilsmissen fra sin tredje ektemann var hun samboer med Hans Sundgaard. Fra sitt andre ekteskap har hun sønnen Øystein Gullvåg Holter, som har etternavnet fra morens tredje ektemann og mellomnavnet fra sin far.