Lindfors var gift fire ganger: Harry Hasso, en svensk cinematograf; Folke Rogard, en svensk advokat og president for Verdenssjakkforbundet; Don Siegel, direktør; og Georg Tabori, en ungarsk forfatter, produsent og regissør. Hun fikk tre barn: to sønner (John Tabori med Hasso, og skuespilleren Kristoffer Tabori med Siegel) og en datter (Lena Tabori med Rogard).