内元老们取代，他的权力也在1978年中央工作会议、中共十一届三中全会后不断削弱。1980年2月，在中共十一届五中全会上，中共中央决定恢复中共中央书记处，胡耀邦任总书记，赵紫阳为中共中央政治局常委，并让华国锋亲信中共中央副主席汪东兴以及纪登奎、吴德、陈锡联辞职，开始改变权力高度集中于华国锋的格局。8月政治局扩大会议以后，很多人提出华不宜担任中共中央主席、中共中央军委主席。基于党政分开的原则，在9月五届人大三次会议上，华辞去了兼任的国务院总理一职，由赵紫阳接替。10月20日，胡耀邦掌控的中共中央书记处决