Agnes Mathilde Wergeland tilhørte en kjent slekt, Wergeland-slekten. Faren var fetter av Henrik Wergeland og Camilla Collett, men han hadde liten økonomisk suksess. Moren sørget for familien ved sitt arbeid som oldfrue på Gaustad sindssykeasyl. Agnes satset på utdanning i en tid da dette var vanskelig for kvinner. Hun sa hun måtte drive med noe stort siden hun hadde Wergelandsblod i hennes årer. Familien hadde lite penger, men med venners hjelp fikk hun ett år på Nissens Pikeskole i Christiania. I slutten av 1870-årene tok hun pianotimer hos Edvard Grieg, men veien til videre utdanning i Norge var stengt. Broren Oscar, som var 13 år eldre, hadde studert kunst i München, som kanskje senere gjorde at hun studerte der.