反事泄，无忌为稳固高宗帝位，以谋反案诬陷吴王李恪，李恪与房遗爱、高阳公主等一同被杀。永徽六年（655年），高宗欲立武昭仪为皇后，无忌坚决反对，招致武后仇恨（另一说为长孙无忌权力太大令高宗忌惮）。许敬宗希旨，诬构无忌谋反，高宗削无忌爵，流黔州（今重庆彭水郁山镇）。659年被逼自缢死，天下哀之。虽然不久后他的子孙就被召回仕官袭爵，但长孙一族由此衰败。唐肃宗时，下诏追复无忌官爵。无忌有诗三首留于后世。