中共吉林省委副书记；1996年8月，转任中共浙江省委副书记。后任全国供销合作总社党组书记。2002年10月，王金山出任安徽省副省长、代省长；并在2003年1月召开的安徽省第十届人民代表大会第一次会议上，当选安徽省省长。2007年11月，升任中共安徽省委书记；次年1月起，兼任安徽省人大常委会主任。2010年5月，65岁的王金山因年龄到限，被免去在安徽的领导职务。