进入西北农学院水利系农田水利工程专业学习。毕业后，被分配到宁夏回族自治区固原地区水利局工作。此后，郑小明曾长期在宁夏地方任职；历任平罗县水电局局长，平罗县副县长、代县长、县长，县委书记，中共石嘴山市委书记、市人大常委会主任等职。期间于1993年9月赴中共中央党校，参加为期一年的中青年干部培训班。2002年12月，升任自治区政府主席助理；2003年1月，出任自治区副主席、党组成员。2008年5月，中央宣布将其职务和时任陕西省副省长的李堂堂对调，郑小明出任陕西省人民政府副省长，李堂堂任宁夏副主席。；2012