宗病危，遗命长孙无忌与褚遂良辅政。唐高宗继位，拜无忌太尉同中书门下三品，兼扬州都督，主持朝政。永徽四年（653年），房遗爱与高阳公主谋反事泄，无忌为稳固高宗帝位，以谋反案诬陷吴王李恪，李恪与房遗爱、高阳公主等一同被杀。永徽六年（655年），高宗欲立武昭仪为皇后，无忌坚决反对，招致武后仇恨（另一说为长孙无忌权力太大令高宗忌惮）。许敬宗希旨，诬构无忌谋反，高宗削无忌爵，流黔州（今重庆彭水郁山镇）。659年被逼自缢死，天下哀之。虽然不久后他的子孙就被召回仕官袭爵，但长孙一族由此衰败。唐肃宗时，下诏追复无忌官爵