Elizabeths mor var Catherine Charlton (død 1777). Faren, snart enkemann, giftet seg på nytt, men da dette ekteskapet brøt sammen ville ikke stemoren stille opp for barna.