先，为建陵（江苏沭阳西北）令。父臧庸民，为国子助教。幼年丧父，侍母至孝。遭逢乱世，与友人关康之俱隐于京口（江苏镇江），世称二隐，经常身穿黑色长袍，自号“披褐先生”。荣绪纯笃好学，嗜读《五经》，着有《释五经序论》；又精于史学，据王隐、何法盛等晋书，另撰晋朝史书，起于宣帝创业，终于刘裕代晋，有纪、录、志、传共一百一十卷。是十八家晋史中最完备的一种，初唐重修《晋书》即以此为本。齐武帝永明六年（488年）卒于京口之郊的江中金山。