封兴晋侯。后来再迁任尚书右仆射，加侍中，进爵为兴晋公。后来成都王司马颖及河间王司马颙在攻打长沙王司马乂时，上表请诛羊皇后之父羊玄之、左将军皇甫商等，以讨羊玄之等为名出兵起事，羊玄之极为忧惧，于太安二年九月癸巳日（303年10月19日）忧死。朝廷追赠车骑将军、开府仪同三司。