977年11月至1981年5月，任北京市革委会副主任，中共北京市委书记（当时设有第一书记）兼市委组织部部长。1981年5月至1983年3月，任中共山西省委常务书记（当时设有第一书记）。1981年5月，中共中央总书记胡耀邦和中组部部长宋任穷、书记处书记万里先后与他沟通，提出让他主政山西，解决文化大革命后山西发展问题。1983年3月至1991年3月，任中共山西省委书记，他也是中共建政以来唯一一位干满两届任期，善始善终，安全退休的山西最高领导人。1987年，因为保举同乡华国锋在中共十三大上复出接替刚下台的胡耀