1977年，吴德出任全国人民代表大会常务委员会副委员长，但是随着华国锋的逐渐失势，邓小平等复出掌权，吴德于1978年12月中共十一届三中全会上被受到批判，后被撤销政治局委员职务。1980年4月吴德辞去第五届全国人大常委会副委员长职务。1982年，根据胡耀邦等人的提议，鉴于吴德在“粉碎四人帮”之中发挥的重要作用，吴德被选为中共中央顾问委员会委员。1995年病逝于北京。