Agathe Backer var datter av Nils Christensen Backer (1815–77) og Sofie Smith Pedersen. Faren var skipsreder i Holmestrand. Storesøsteren Harriet Backer (1845–1932) ble en kjent maler. I 1857 flyttet familien til Christiania, hvor hun studerte med Otto Winter-Hjelm og Halfdan Kjerulf. Siden fikk hun også studere musikkteori med Ludvig Mathias Lindeman.