愤得不能进食，对于韦约在韦师位下感到耻辱，把韦约叫来训斥说：“你怎么当了个从事？”于是韦世康杖打了韦约。韦约的五哥韦冲出任南宁州总管时，侄子韦伯仁跟随韦冲在州府，强夺别人的妻子，部下放纵凶暴，益州长史元岩查办韦冲无所宽恕，韦冲因此被免官。韦约在皇太子杨勇面前诋毁元岩，隋文帝对杨勇说：“古代有人卖酒到酒酸而卖不出的，就是因为有咬人的狗。现在用韦约干什么？只会连累你而已。”韦约于是被除名。韦约的哥哥们都是官位尊贵，只有韦约仕途不畅，韦世康和兄弟们一起将父亲留下的田宅全部给了韦约。