55年），高宗欲立武昭仪为皇后，无忌坚决反对，招致武后仇恨（另一说为长孙无忌权力太大令高宗忌惮）。许敬宗希旨，诬构无忌谋反，高宗削无忌爵，流黔州（今重庆彭水郁山镇）。659年被逼自缢死，天下哀之。虽然不久后他的子孙就被召回仕官袭爵，但长孙一族由此衰败。唐肃宗时，下诏追复无忌官爵。无忌有诗三首留于后世。