Plowright giftet seg første gang med skuespilleren Roger Gage i september 1953. Hun skilte seg fra Gage, og i 1961 giftet hun seg på nytt med Laurence Olivier, etter at hans 20-årige ekteskap med skuespilleren Vivien Leigh tok slutt. Plowright har alltid benektet at det var hennes skyld at Oliviers første ekteskap gikk i stykker.