士廉妻子已身患癌症，家人已经无法承担更多的迁徙，邓小平亲自说服霍士廉，并交代落实农业生产责任制，并解决山西极左的思潮与派系干扰。到任后他就担任中共山西省委第一书记，之后罗贵波出任第二书记。考虑到霍、罗两位都是老将，1981年5月，中共中央总书记胡耀邦、中组部部长宋任穷、书记处书记万里先后与李立功谈话，提出将他派任山西。胡耀邦认为霍士廉、罗贵波年迈，当时虽然出任第一、第二书记，但过渡之后，由李立功接班。三人在任内迅速平反谢振华冤案、解放基层干部；并在经济上推广联产承包制，使得山西经济彻底抛弃此前的学大寨思路。