Hennes far, en rik forretningsmann og presbyterianer som hadde tjent en formue på en sukkerplantasje på Jamaica, var nærmest en hustyrann. Familien, som bestod av tolv barn, bodde på en stor eiendom utenfor Durham. Som barn kom hun ut for en rideulykke, hun falt av sin ponny. hun skadet ryggraden og ble siden behandlet som invalid av sin far. Hun hadde ingen egentlige helseproblemer etter ulykken, men ble betraktet som «nervesyk» og fra 1821 ble hun satt på opium av familiens huslege.