Agnes ble født i London og hennes far var lærd og underviste sin døtre selv, men var ikke velstående. Familien var litterært interessert, og sammen med sine søstre drømte de om en litterær karriere tilsvarende søstrene Brontë. De utga poesi, barnebøker og noveller. To av hennes yngre søsken, Susanna og Catharine utvandret til Canada i 1832 grunnet fattigdom i England. Både Susanna og Catharine ble forfattere i sitt nye hjemland hvor de skrev om det harde pioneerlivet. For Agnes var det utelukkende å utvandre til et land uten store engelske biblioteker, teatre og museer, og ble ved hjelp av søsteren Elizabeth en feiret forfatter av biografier.