攻打关中，段荣以为时尚早反对。高欢在渭曲战败，说：“我不采纳段荣的意见，弄到这个地步。”537年，段荣任山东大行台、大都督，甚得民心。538年，任仪同三司。539年五月，六十二岁的段荣去世。追赠使持节、定冀沧瀛四州诸军事、定州刺史、太尉、尚书左仆射，谥号昭景。562年，赠大司马、尚书令，追封武威王。