在华阴，杨素部下放肆不羁。荣毗以法将他们逮捕，没有宽容。荣毗被朝廷召集，杨素对他说：「我推荐卿，正好让你来处罚我的」。荣毗回答：「我一心守法、只是担心辜负了杨公的推荐」。杨素笑道：「刚才是开玩笑的。卿守法办事，正是我希望的」。晋王杨广在扬州，经常探察长安情势，派遣张衡在沿途设立马坊，以牧畜为名，实际是供给探察的人。州县不敢违命，荣毗制止了这件事。隋文帝知道后，赞赏了荣毗，荣毗转任蒲州司马。604年，汉王杨谅作乱，河东豪杰响应杨谅，蒲州刺史丘和逃回关中。蒲州长史高义明对荣毗说：「河东要害，国之东门，如