Gjennom sin farmor nedstammer Cornwell fra Harriet Beecher Stowe. Da Cornwell var fem år gammel, forlot hennes advokatfar Sam Daniels familien juledag etter å ha gjort sin sekretær gravid. Moren Marilyn ble deprimert etter skilsmissen og forsøkte til sist å få ekteparet Graham til å overta den ni år gamle datteren og de to sønnene, før hun selv ble innlagt på psykiatrisk sykehus. Barna ble likevel ikke boende hos Grahams. Patricia Daniels vokste opp hos en kvinne som skremte og plaget henne, og hun utviklet alvorlig anoreksi.