80年，杨坚为丞相，卫玄以检校熊州事复官。和州蛮作乱，卫玄为行军总管镇压。581年，隋朝建立，卫玄升任淮州总管，封同轨郡公，因事连坐免官。不久，改任岚州刺史。监督劳役修建长城。检校朔州总管事。后任卫尉少卿。601年，巴蜀深山中的山獠作乱，卫尉少卿卫玄出任资州刺史，前去镇压。獠族当时包围大牢镇（今四川荣县），卫玄单骑闯入僚人大营，对僚人首领申明大义陈説利害，獠族渠帅感悦诚服，解围而走。以后，卫玄又招抚十余万僚人归顺朝廷，平定了这场叛乱。文帝杨坚大喜，褒赏卫玄，任命他为遂州总管，安抚剑南。604年，隋炀帝即