尉卿。一年后，转任工部尚书。后以工部尚书任魏郡太守。不久，任右候卫大将军、检校左候卫事。612年，转任刑部尚书。远征高句丽，检校右御卫大将军，率军出增地道。隋军败北，卫玄的军队保全回师。受位金紫光禄大夫。613年，炀帝第二次远征高句丽，派卫玄辅佐代王杨侑留守长安，任刑部尚书、京兆内史。下令代王杨侑以师傅之礼对待他。杨玄感逼近东都洛阳，卫玄率兵七万救援东都。到达华阴，挖掘杨素墓，烧毁杨素的骸骨。出潼关后，卫玄属下担心崤、函之地有伏兵，建议从陕县沿流东下，直抵河阳，攻打杨玄感背后。卫玄擂鼓前进。越函谷关，派