关后，卫玄属下担心崤、函之地有伏兵，建议从陕县沿流东下，直抵河阳，攻打杨玄感背后。卫玄擂鼓前进。越函谷关，派武贲郎将张峻在南道疑敌，卫玄率大军直向城北。杨玄感迎击卫玄，卫玄屯军金谷。卫玄在军中扫地祭祀文帝，在灵前决死之誓。卫玄苦战，很多人死伤。宇文述、来护儿援兵到达，杨玄感向西逃走。卫玄派斛斯万善、庞玉为先锋追赶，在阌乡和宇文述合兵击败杨玄感。炀帝车驾到达高阳，炀帝召来卫玄，赐他良田宅邸，让他回长安。615年，卫玄受命屯守关中。当时民变四起，百姓饥馑，隋朝官府坏乱，卫玄不能救恤。以年老为由请求告老还乡，