Hennes foreldre var godseier og rikshoffmester Mogens Gøye og Mette Albrechtsdatter Bydelsbak. Lensmann Albert Gøye var hennes bror. Moren døde allerede i 1512 eller 1513, og Birgitte ble sendt til Ring kloster ved Skanderborg for å bli oppdratt som det høvet seg for en pike av adelig stand. I 1515 giftet faren seg igjen med Margrethe Sture, som Birgitte fikk et heller dårlig forhold til. Etter stemorens død kom Birgitte i huset hos sin eldre søster Sophie og dennes mann Mogens Bille til Svanholm. Da også søsteren døde, flyttet hun i 1537 til søsteren Elline på Bregentved, med hvem hun opprettholdt tett kontakt. Oppholdet ble dog av kortvarig karakter, da hun det følgende år ble kalt til hoffet for å bli en av dronning Dorotheas kammerjomfruer. Her innledet hun vennskap med prinsesse Anna, senere kurfyrstinne av Sachsen.