Anna Ancher var datter av kjøpmann og hotelleier Erik Andersen Brøndum (1820–1890) og Ane Hedvig Moller (1826–1916). Hun var den femte i en søskenflokk på seks, blant dem Christen Degn Brøndum som overtok Brøndums Hotel etter sin far.