Han var sønn av Erik Eriksen Gyldenstierne den eldre (d. 1477) og hustru Kristina Karlsdotter Bonde (d. før 1500), datter av Karl Knutsson Bonde. Abraham Eriksen Gyldenstierne var i hofftjeneste hos kong Hans og ble i 1497 befalingsmann på Kalmarhus. Han forble tro mot kongen, også etter det svenske opprøret i 1501, hvor hans svenske gods ble konfiskert. Hans forhold til kongen ble dog forverret av at han giftet seg med Else Laxmand, en datter til rikshovmesteren Poul Laxmand, som ble myrdet i 1502 og hvis gods ble inndratt grunnet mistanke om konspirering med svenskene.