当年9月，接任中共山西省委书记。1994年3月至1995年2月期间，曾一度兼任山西省政协主席。在他就任初期，山西财政收入只有76亿，119个县有67个县政府无法支付工资。他在任内进行一系列大型改革，并修建完成引黄工程、阳城电厂、太旧高速、太原飞机场和太原火车站等基础设施，促使山西经济转型。1998年，胡富国率领中共山西省委，向山西全省煤矿企业发布通告，停止向欠煤款的地区及单位供煤。此事倒逼中央政府居中调停，催促欠款省份还款。然而此事也得罪了中央权贵；1999年6月，62岁的胡富国再次离开家乡，调任国务院