北魏安北府司马段连之子。因是豪门，被迁至北边，就安家于五原郡。段荣自幼好历算星术，专意天文。北魏正光初年他观察天文现象，认为不到十年，就有大乱了。六镇之乱兴起，段荣就和同乡故老及妻儿南下，来到平城。遇上杜洛周作乱。段荣和高欢谋议杀害杜洛周，失败后投靠尔朱荣。后段荣和高欢一起起兵，任行台右丞、西北道慰喻大使，出使晓谕官民。高欢攻打邺城，段荣留守信都郡，任镇北将军、定州刺史。在邺城未攻下时，军需物资都由段荣补给。高欢入洛阳，以段荣之功封他为姑臧县侯，食邑八百户。转任瀛州刺史。段荣之妻娄信相是高欢之妻娄昭君