Han var sønn av Mogens Eskildsen Gøye og hans 1. kone Mette Albrechtsdatter Bydelsbak. Birgitte Gøye var søster til Albert Gøye. Han fungerte i 1531 som hoffsinde og deltok siden i slaget ved Svendstrup hvor han ble såret og tatt til fange. I 1532 ble han trolovet med den den gang 10 år gamle Anne Ottesdatter Rosenkrantz, som var en av arvingene til betydelige jordegods i Norge. Faren forsøkte å skaffe ham Bergenhus len etter Eske Bille, men både dette og andre forsøk på å få tak i den norske arven mislykkedes.