Fitzgerald ble utdannet ved Wycombe Abbey og Somerville College ved Universitetet i Oxford. Hun jobbet for BBC under den andre verdenskrig. I 1941 giftet hun seg med Desmond Fitzgerald, en irsk soldat, de fikk tre barn, en sønn og to døtre. I 1960 underviste hun ved den uavhengige skolen Italia Conti Academy, en dramaskole i London. Hun var også ansatt i en bokhandel i Southwold, Suffolk. En stund bodde hun i en båt på Themsen, en husbåt som angivelig sank to ganger. Hun startet sin litterære karriere i 1975, i en alder av 58 år, da hun fikk utgitt en biografi over kunstneren Edward Burne-Jones (1833–1898).