Hun var datter av sekondløytnant og lærer ved det kongelige Landkadetkorps, Claus Conrad Schwartz (1796–1879) og hans ektefelle Karen Rasmine Baggesen (1796–1863). Ekteparet hadde en sønn og fire døtre i tillegg til Athalia Schwartz og alle barna fikk gå på skole og utdanne seg, noe som var uvanlig i samtiden.