仆射羊瑾之子。
生平.羊玄之初为尚书郎，因女儿羊献容在永康元年（300年）成为皇后，受拜为光禄大夫、特进、散骑常侍，更封兴晋侯。后来再迁任尚书右仆射，加侍中，进爵为兴晋公。后来成都王司马颖及河间王司马颙在攻打长沙王司马乂时，上表请诛羊皇后之父羊玄之、左将军皇甫商等，以讨羊玄之等为名出兵起事，羊玄之极为忧惧，于太安二年九月癸巳日（303年10月19日）忧死。朝廷追赠车骑将军、开府仪同三司。