Hun var datter av godseier Henrik Gøye og Birgitte Brahe, som den niende og nest yngste i flokken. Etter farens død i Kalmarkrigen i 1611 ble Anne og hennes søstre hos moren, mens fire brødre kom i huset til mosteren Sophie Axelsdatter Brahe og dennes mann Holger Rosenkrantz på Rosenholm. Da moren døde i 1619 kom også pikene etter til Rosenholm. Her hadde Anne gode dager til 1627, hvor hun tok opphold hos sin bror Eskil Gøye til Brandholm. Året etter giftet en annen bror Falk Gøye seg med Karen Bille, og Anne fulgte deres oppfordring om å flytte sammen med dem på Hvidkilde. I 1649 ble Falk utnevnt til hoffmester ved Sorø akademi, og Anne fulgte med broren og svigerinnen til Sorø. I 1653 døde Falk, hvoretter Anne og Karen flyttet tilbake til Hvidkilde. Under svenskekrigen i 1657 måtte de flykte og tok opphold hos Karens datter Susanne Gøye og hennes mann Preben Brahe på Næsbyholm.