伦获罪被罢黜，侯君集谋反被斩首，使得唐太宗怀疑魏征实际上私下结党。唐太宗又发现魏征生前每有谏书，必留副本于家中并且曾经出示给史官褚遂良，太宗疑此举有留为自赏及博取清名之用，大怒之下，下令推倒他亲自书写的魏征墓的墓碑。太宗亦下旨解除婚约，衡山公主不再嫁往魏家。陈寅恪写道：“幸其事发觉于征已死之后，否则必与张亮、侯君集同受诛戮，停婚仆碑犹是薄惩也。”贞观十八年，唐太宗亲征高丽受挫，发出了“魏征若在，不使我有是行也”的感慨，于是又下令将毁坏的魏征墓碑重新