国锋一派的领导地位逐渐被邓小平一派取代。1978年12月，汪东兴在中共第十一届三中全会上受到严肃批评，被免除了中共中央办公厅主任的职务，由姚依林取代。胡耀邦担任《毛泽东选集》编辑委员会主任，杨德中担任警卫部队八三四一部队政治委员。1980年2月，中共第十一届五中全会又批准他辞去中共中央政治局常委、中央委员会副主席的职务。1982年9月，在中国共产党第十二次全国代表大会上，被选为中共中央候补委员。1985年9月，被增选为中央顾问委员会委员；并在1987年11月的中共十三大上，连任中顾委委员。汪东兴随后