逐渐失去了光环。党内的众元老们指责华国锋是“极左路线错误”，华国锋一派的领导地位逐渐被取代。华国锋的权力也在1978年中央工作会议、中共十一届三中全会后不断削弱。1980年2月，在中共十一届五中全会上，中共中央决定恢复中共中央书记处，中共中央秘书长胡耀邦任总书记，开始改变权力高度集中于党主席华国锋的格局。基于党政分开的原则，在9月的五届全国人大第三次会议上，华辞去了兼任的国务院总理一职，由赵紫阳接任。。8月中央政治局扩大会议以后，很多人提出华不宜担任中共中央主席和中共中央军委主席。11月10日至12月5