Phillips giftet seg med Peter O'Toole og de fikk to døtre, Patricia and Kate (født 1961). De ble siden skilt. Hun skrev om denne stormfulle perioden av sitt liv i det andre bindet av sin selvbiografi, . Hun giftet seg senere med den britiske skuespilleren Robin Sachs, som hun ble skilt fra i 1991.