让你来处罚我的」。荣毗回答：「我一心守法、只是担心辜负了杨公的推荐」。杨素笑道：「刚才是开玩笑的。卿守法办事，正是我希望的」。晋王杨广在扬州，经常探察长安情势，派遣张衡在沿途设立马坊，以牧畜为名，实际是供给探察的人。州县不敢违命，荣毗制止了这件事。隋文帝知道后，赞赏了荣毗，荣毗转任蒲州司马。604年，汉王杨谅作乱，河东豪杰响应杨谅，蒲州刺史丘和逃回关中。蒲州长史高义明对荣毗说：「河东要害，国之东门，如果失陷，危害不小。城中虽然叫嚷的很凶，但不会全员反叛。将为首的叛乱者十数人斩杀，自然会安宁」，荣毗同