Hun var en av tre døtre til Matthew Robinson og Elizabeth Drake Robinson og datterdatter til Conyers Middleton; hennes søster Sarah Scott skulle bli kjent forfatterinne. Foreldrene var oftest fraværende, men hun stod nær sin søster og fikk en usedvanlig høy utdannelse.