Han var sønn av Mogens Axelsen Gøye (død tidligst 1450) og Ide Eskilsdatter Falk. Omkring 1470 giftet han seg med Mette Eriksdatter Rosenkrantz (1460–1503), datter til Erik Ottesen Rosenkrantz og Sofie Henriksdatter Gyldenstierne. Med henne fikk han sønnene Mogens Eriksen Gyldenstierne og Henrik Gøye. Etter Mettes død giftet han seg med Sidsel Brahe (død tidligst 1532) som var datter av Axel Brahe (død 1487) og Maren Tygesdatter Lunge.