621年），秦王李世民率军东征王世充，围逼东都洛阳。两军在榆窠大战时，单雄信领军直奔向李世民的位置，冲击中手中钢枪要将李世民击杀时，被徐世勣呵止，尉迟敬德跃马大唿，前往救援，两人大战，单雄信被刺落马下，尉迟敬德护卫李世民冲出包围。后单雄信所部被唐军围困伏牛山，血战三天三夜，见胜利无望，单驱马跳崖未死，被俘押至洛阳，拒不投降，最后被斩于洛阳。明代曹州诗人杨清《咏单雄信墓》诗云：「飘泊残魂土一丘，断碑千古共松楸。寒乌啼落陵前月，疑诉当年汗马愁。」《东京梦华录》记载，单雄信墓在开封市。
小