赐爵石门县子。北齐建国后，跟随齐文宣帝高洋征柔然，讨稽胡。天保六年（555年），鲜于世荣随高岳平定郢州，任持节、河州刺史、食邑朝歌县。担任丞相府谘议参军。皇建元年（560年），受仪同三司、武卫将军之位。天统二年（566年），加开府仪同三司，转任郑州刺史。武平年间，平定信州之乱，改任领军将军，上党郡食邑。跟随平定高思好之乱，封义阳王，常叹息朝政危乱。武平七年（576年），齐后主幸晋阳，鲜于世荣以本官执行尚书右仆射事务，辅佐北平王高贞北宫留后，受命与袁聿修在尚书省检试举人。后主包围平阳，鲜于世荣受领军将军之