跟随朱普学习《欧阳尚书》，后被汉光武帝任命为议郎、太子少傅、太常。汉明帝继位后，为感谢老师，拜桓荣为五更、关内侯。桓荣之后，其子孙承袭家业，累世传袭《欧阳尚书》，成为经学世家。晋元帝时期，散骑常侍桓彝子五人均典要职，尤以桓温、桓沖二人为代表。桓温消灭成汉后，名声震主，地位隆高，成为一代权臣；桓沖接掌桓温权位时，由于性格较温和，未有以权臣的姿态凌驾皇室，但其朝中地位同样崇高。桓温之子桓玄后来更曾篡夺皇位，建立桓楚，改元永始，几乎覆灭东晋。但桓楚政权不得人心，未达两年而遭刘裕等人击溃，桓玄死后其堂弟桓谦奉还