Plowright ble født i småbyen Brigg i Lincolnshire 28. oktober 1929. Hennes foreldre var Daisy Margaret (født Burton) og William Ernest Plowright. Faren var journalist og avisredaktør. Etter endt skolegang ved Scunthorpe Grammar School fikk hun elevplass ved Bristol Old Vic Theatre School.