帝召来卫玄，赐他良田宅邸，让他回长安。615年，卫玄受命屯守关中。当时民变四起，百姓饥馑，隋朝官府坏乱，卫玄不能救恤。以年老为由请求告老还乡，隋炀帝派封伦劝阻了他。李渊太原起兵，进入关中，卫玄知道守不住，称病不处理政事。李渊进入长安，卫玄弃官回家。617年，去世。享年七十七岁。儿子卫孝则，官至通事舎人、兵部承务郎，早逝。