有旧交，杨坚为丞相，加荣建绪位开府，拜息州刺史。将要就任，当时杨坚秘密有禅代的计划，于是对荣建绪说：“暂且等等，我等当共取富贵。”荣建绪以自己是北周大夫，于是义形于色说：“明公这番话，不是我想听到的。”杨坚不悦，荣建绪就上任了。隋朝开皇初年荣建绪来朝，隋文帝杨坚对他说：“卿也后悔吗？”荣建绪叩首说：“臣的地位不是徐广，但感情和杨彪相似。”隋文帝笑着说：“朕虽不懂你的典故，也知道卿此言不逊。”历任始州、洪州二州刺史，俱有能名。