今四川荣县），卫玄单骑闯入僚人大营，对僚人首领申明大义陈説利害，獠族渠帅感悦诚服，解围而走。以后，卫玄又招抚十余万僚人归顺朝廷，平定了这场叛乱。文帝杨坚大喜，褒赏卫玄，任命他为遂州总管，安抚剑南。604年，隋炀帝即位，召还卫玄任卫尉卿。一年后，转任工部尚书。后以工部尚书任魏郡太守。不久，任右候卫大将军、检校左候卫事。612年，转任刑部尚书。远征高句丽，检校右御卫大将军，率军出增地道。隋军败北，卫玄的军队保全回师。受位金紫光禄大夫。613年，炀帝第二次远征高句丽，派卫玄辅佐代王杨侑留守长安，任刑部尚书