贞观十七年魏征病重时，唐太宗问他还有什么愿望时，回曰：「嫠不恤纬，而忧宗周之亡！」，唐太宗表示衡山公主将下嫁其子魏叔玉。在魏征死后，唐太宗身旁有许多人因为忌妒魏征而想方设法毁谤并贬低他，魏征生前推荐给唐太宗的两个人，杜正伦和侯君集也因此受到牵连，他们毁谤魏征与杜侯结党；又有人说魏征和褚遂良等标榜自己，贬低太宗。太宗一气之下就把先前许配衡山公主给叔玉的婚约毁掉了。