共中央整党工作指导委员会委员的王兆国曾试图要把“端正党风”、“廉洁自律”的工作，从党内高层抓起；特别是在“取消中央领导人生活‘特供’”的议题上，引发了退休元老们的强烈反弹。在任职两年后，王兆国便不再兼任中办主任的职务，由副手温家宝接任；但依然保留了中央直属机关工委书记职务，继续负责中共中央各部委的党务工作。同时，在1984年也兼任中日友好21世纪委员会首席委员，负责对日关系。关于王兆国被去职的原因，一种理论认为胡耀邦的团派力量被分散到各地来消除其影响，当北京的政治风向在80年代末期逐渐转向保守时，他的仕